Juniorzy używający AI nie uczą się debugowania - badanie Anthropic

👁 134 przeczytań

Badacze Anthropic Judy Hanwen Shen i Alex Tamkin opublikowali w styczniu wyniki randomizowanego badania kontrolowanego, w którym 52 głównie juniorskich inżynierów oprogramowania podzielono na dwie grupy - jedna miała dostęp do asystenta AI, druga nie. Obie grupy uczyły się biblioteki Trio w Pythonie, a następnie były sprawdzane z przyswojonych pojęć. Wynik: grupa z AI uzyskała średnio 50%, grupa bez AI - 67%. Anthropic określa tę różnicę jako odpowiednik prawie dwóch ocen szkolnych, a wynik jest statystycznie istotny (p=0,01).

Spodziewana korzyść czasowa nie pojawiła się. Grupa z AI zakończyła zadanie zaledwie ok. 2 minuty szybciej - różnica nieistotna statystycznie - a część uczestników spędziła do 11 minut na samym formułowaniu zapytań, czyli mniej więcej jedną trzecią dostępnego czasu. Największą lukę między grupami zanotowano przy debugowaniu - umiejętności, którą zwykle zdobywa się właśnie przez samodzielne naprawianie błędów.

Badanie wpisuje się w szerszy problem, któremu towarzyszy już własna terminologia. „Never-skilling” to sytuacja, gdy nowicjusz nigdy nie nabiera biegłości, bo narzędzie wyręcza go zanim zdąży się czegokolwiek nauczyć. Gartner przewiduje, że do 2026 roku połowa globalnych organizacji wprowadzi oceny umiejętności przeprowadzane bez udziału AI - co jest pośrednim przyznaniem, że rekruterzy przestają ufać portfolio kandydatów.

// czytaj dalejCzytelnicy wyżej oceniają opowiadania pisane przez AI niż przez ludzi - wynika z badaniaNewsyTani model Z.ai ujawnia drogie nawyki programistów używających AINewsyAI poradziło źle, ale użytkownicy byli dwa razy bardziej pewni siebie - nowe badanieNewsy