ChatGPT ocenił studenta gorzej niż człowiek. Dlaczego?

👁 116 przeczytań

Jak sprawdzić sto prac z programowania, nie spędzając nad każdą pół godziny? Dla prowadzących kursy kodowania to codzienna udręka. Generatywna sztuczna inteligencja miała być wybawieniem. Jednak gdy naukowcy z Harvard Medical School oddali stos egzaminów ChatGPT, okazało się, że maszyna rozumie kod, ale nie rozumie studenta.

Test na żywym organizmie: ChatGPT kontra zadanie z algorytmów

Pewnego wieczoru Boyan Li, doktorant z Harvard Medical School, siedział przy kuchennym stole i sprawdzał zadania studentów. Każde wymagało uruchomienia kodu, prześledzenia logiki i oceny, czy student rozumie algorytm. Niektóre odpowiedzi były bezbłędne, inne - ewidentnie błędne. Lwią część stanowiły mimo to te pośrednie: działające, ale napisane po swojemu. To właśnie one zabierały najwięcej czasu.

Jego partnerka Ying Xu, badaczka edukacji wyższej, obserwowała ten proces z profesjonalnym zaciekawieniem. Uznała, że to idealny poligon doświadczalny: sprawdzić, czy ChatGPT potrafi odciążyć wykładowców w żmudnej robocie. Wyniki szybko położyły kres złudzeniom.

Porównywanie kodu a rozumienie intencji

Boyan Li dał chatbotowi treść zadania, wzorcowe rozwiązanie i poprosił o ocenę studenckiego kodu. Model OpenAI, ChatGPT 5.4, wziął się do roboty z zapałem - i od razu wpadł w pułapkę. Głównie porównywał przesłany kod z referencyjnym, tropiąc różnice, a nie oceniając, czy student opanował materiał.

Zamiast docenić inną, ale poprawną implementację algorytmu, ChatGPT czepiał się drobiazgów - na przykład tego, że rozwiązanie jest odrobinę mniej wydajne obliczeniowo. Zupełnie zignorował główny cel dydaktyczny: sprawdzenie, czy student rozumie, jak działa dany algorytm. Innymi słowy, model wyłapywał szczegóły, gubiąc sedno.

Gdzie tkwi błąd? Brak kontekstu i „szarej strefy”

Obserwując frustrację męża, Ying Xu szybko zrozumiała, co poszło nie tak. ChatGPT działał w próżni - nie miał pojęcia, które błędy są typowe dla początkujących, a które detale można uznać za nieistotne. Maszyna nie odróżniała pomyłki koncepcyjnej od alternatywnego, ale poprawnego toku myślenia.

Dlatego Xu zaproponowała prostą modyfikację: dajmy modelowi kontekst. Do prompta dopisano listę typowych błędów studenckich oraz wskazówkę, które drobne niedociągnięcia można pominąć. Dopiero wtedy oceny ChatGPT stały się nieco bardziej trafne. Eksperyment ujawnił niemniej fundamentalną prawdę: ocenianie to nie tylko techniczna kontrola, ale też interpretacja ludzkiego rozumowania.

Konsekwencje dla edukacji i przyszłość AI w szkolnictwie

Eksperyment z Harvard Medical School pokazuje coś ważnego. Wbrew pozorom kod wcale nie jest dla AI łatwiejszy od esejów. Owszem, podlega ścisłym regułom składni, ale za każdą linijką stoi decyzja programisty - a tę trzeba zrozumieć, nie tylko porównać do wzorca. Ying Xu, cytowana w raporcie w Nature, zwraca uwagę, że samo sprawdzanie kodu to proces głęboko interpretacyjny: wykładowca prowadzi „dialog” z uczniem, próbując odczytać jego tok myślenia.

Czy to oznacza, że chatboty nie nadają się do edukacji? Niekoniecznie. Ich rola może być inna - nie jako bezmyślny egzaminator, lecz asystent, który wstępnie przefiltruje oczywiste błędy, a resztę zostawi człowiekowi. Ale dopóki AI nie nauczy się czytać między linijkami - i rozumieć, że istnieje więcej niż jedna poprawna ścieżka - wykładowcy mogą spać spokojnie. Jeszcze długo nikt im butów nie zdejmie.