TutorMoments: czy AI wie, kiedy pomóc uczniowi, a kiedy się powstrzymać?

👁 133 przeczytań

Allen Institute for AI opublikował na Hugging Face projekt TutorMoments - zestaw danych i narzędzie ewaluacyjne zadające fundamentalne pytanie o projektowanie AI w edukacji: czy model językowy potrafi rozpoznać, kiedy powinien wkroczyć z pomocą, a kiedy milczeć i dać uczniowi przestrzeń do samodzielnego myślenia.

Projekt pojawił się na blogu Hugging Face prowadzonym przez zespół allenai i w ciągu doby od publikacji zebrał ponad 10 tysięcy odsłon - wynik, który w społeczności badaczy edukacji i NLP rzadko zdarza się przy debiucie niszowego datasetu.

Problem, który branża omijała wzrokiem

Przez ostatnie dwa lata dyskusja o AI w edukacji kręciła się głównie wokół jednego pytania: czy model jest wystarczająco mądry, żeby odpowiedzieć poprawnie? Testy, benchmarki, wyniki maturalne - wszystko mierzyło zdolność do podania właściwej odpowiedzi. TutorMoments przesuwa punkt ciężkości w zupełnie inne miejsce: czy AI jest wystarczająco dojrzała dydaktycznie, żeby czasem odpowiedzi nie udzielić?

To rozróżnienie ma ogromne znaczenie praktyczne. Dobry nauczyciel - ludzki - nie działa jak wyszukiwarka, która podaje wynik na żądanie. Stosuje tzw. scaffolding: zadaje pytania pomocnicze, czeka na reakcję ucznia, ocenia, czy uczeń jest bliski przełomu czy utknął bez szans na samodzielne wyjście. Decyzja o tym, kiedy wkroczyć, a kiedy odczekać jeszcze trzydzieści sekund, to jedna z najtrudniejszych kompetencji pedagogicznych - i dotąd nikt systematycznie nie sprawdzał, czy modele językowe w ogóle próbują ją naśladować.

Czym jest TutorMoments

Projekt Allen AI dostarcza ustrukturyzowany zbiór danych opisujący konkretne momenty interakcji tutorskich - sytuacje, w których system AI musi podjąć decyzję o interwencji. Każdy taki moment jest opatrzony kontekstem rozmowy, stanem wiedzy ucznia (o ile da się go ocenić na podstawie dialogu) oraz etykietą wskazującą, jaka reakcja tutora byłaby pedagogicznie właściwa.

Celem nie jest zbudowanie kolejnego chatbota edukacyjnego, lecz stworzenie narzędzia ewaluacyjnego - benchmarku, który pozwoli porównywać różne modele pod kątem tej konkretnej umiejętności. Dla badaczy to ważna zmiana perspektywy: zamiast pytać „czy AI wie matematykę”, TutorMoments pyta „czy AI rozumie, jak uczy się człowiek”.

Allen Institute for AI, znany przede wszystkim z modeli z rodziny Ai2 i projektów takich jak OLMo, od kilku lat intensywnie inwestuje w badania nad zastosowaniami NLP w edukacji. TutorMoments wpisuje się w ten nurt jako projekt stricte ewaluacyjny - infrastruktura dla przyszłych badań, a nie gotowy produkt.

Dydaktyczne napięcie, które modele ignorują

Za pytaniem tytułowym kryje się głębszy problem. Większość dzisiejszych AI-tutorów - od Khanmigo przez różne nakładki na GPT-4 po specjalizowane systemy dla szkół - jest domyślnie skonfigurowana tak, żeby odpowiadać. To logiczne z perspektywy projektanta aplikacji: użytkownik zadaje pytanie, aplikacja odpowiada. Model nagradzany za pomocność dostarcza pomocy.

Tyle że w edukacji nadmierna pomocność może aktywnie szkodzić. Jeśli uczeń jest o krok od samodzielnego odkrycia zasady działania ułamków i w tym momencie AI podaje mu gotowy przepis, odbiera mu właśnie ten moment - który w literaturze pedagogicznej nazywa się „productive struggle” (produktywna walka z trudnością) i który jest jednym z silniejszych predyktorów trwałego przyswojenia materiału.

Badania nad ludzkim tutorингом, m.in. klasyczne prace Blooma z lat 80. i późniejsze metaanalizy, pokazują konsekwentnie, że efektywność tutora zależy w dużej mierze od wyczucia czasu - nie tylko od merytoryki. AI optymalizowana pod kątem satysfakcji użytkownika z definicji będzie miała tendencję do nadmiernej interwencji, bo użytkownik najczęściej subklimatycznie woli dostać odpowiedź niż walczyć z zadaniem. TutorMoments próbuje zmierzyć tę właśnie lukę między tym, co model robi, a tym, co pedagog uznałby za właściwe.

Co to zmienia dla twórców narzędzi edukacyjnych

Rynek AI w edukacji rośnie szybko - według różnych szacunków globalne wydatki na EdTech z komponentem AI przekroczą w 2025 roku kilkadziesiąt miliardów dolarów. Polska nie jest tu wyjątkiem: narzędzia AI pojawiają się w polskich szkołach i na uczelniach, choć często bez żadnej ewaluacji pedagogicznej, jedynie z oceną techniczną.

TutorMoments daje twórcom takich systemów konkretne narzędzie audytu. Zamiast pytać „czy nasz chatbot zna podstawę programową”, można zapytać „czy nasz chatbot wie, kiedy nie odpowiadać”. To pytanie brzmi prosto, ale jego konsekwencje dla projektu systemu są daleko idące - wymaga zupełnie innej architektury decyzyjnej niż klasyczny model pytanie-odpowiedź.

Dla polskich instytucji edukacyjnych, które stoją przed decyzjami zakupowymi dotyczącymi narzędzi AI, benchmark tego typu może być pierwszym krokiem do sensownych kryteriów przetargowych - zamiast oceniać, ile pytań egzaminacyjnych model rozwiązuje poprawnie, można zacząć oceniać, czy model zachowuje się jak dobry tutor.

Pytanie, czy AI wie, kiedy milczeć, okazuje się trudniejsze niż pytanie, czy AI zna odpowiedź. TutorMoments to pierwsza poważna próba zmierzenia tej różnicy.

// czytaj dalejSunrun chce płacić klientom za hosting węzłów AI w domuNewsyBadacze z Instytutu Turinga złamali zabezpieczenia GitHub Copilota przez rozłożenie szkodliwego żądania na etapyNewsyJensen Huang: moi inżynierowie wolą budować agenty niż pisać kodNewsy