Profesor z Brown University podejrzewał ściąganie z AI. Zmienił egzamin na stacjonarny - wyniki spadły o 50%
Ekonomista Roberto Serrano z Brown University podejrzewał, że studenci używali AI na egzaminie domowym, gdzie 40 osób zdobyło 100 punktów na 100. Gdy zmienił formę na stacjonarną, wyniki spadły o połowę, a 27 studentów w ogóle nie przyszło.
- Na domowym egzaminie z ECON 1170 średnia wyniosła 96/100, a 40 studentów zdobyło maksimum - historycznie było to 65-80 proc.
- Po zapowiedzi stacjonarnego finału 18 studentów wypisało się z kursu, a 9 kolejnych nie pojawiło się na egzaminie - 22 z 27 nieobecnych miało wcześniej idealne 100 pkt.
- Profesor Serrano zapowiedział unieważnienie domowego egzaminu, jeśli rozkład wyników finalnego będzie istotnie inny - co dokładnie nastąpiło.
👁 343 przeczytań
Roberto Serrano, niewidomy profesor ekonomii z Brown University, ogłosił w tym roku akademickim, że zmienia formułę egzaminów na domowe - a wtedy zapisy na jego kurs wzrosły z typowych kilkunastu do 86 studentów. Wyniki były zdumiewające: średnia z egzaminu śródokresowego wyniosła 96 na 100 punktów, a 40 osób uzyskało maksymalny wynik. Tyle że historycznie średnia w tym samym kursie oscylowała między 65 a 80 procent.
Serrano, który z detalami opisał całą sprawę w rozmowie z Inside Higher Ed, zauważył też coś niepokojącego w samej treści odpowiedzi. Nawet gdy były poprawne merytorycznie, miały - jak to określił - "bardzo zawiły styl". Gdy on i jego doktoranci zadali te same pytania egzaminacyjne do ChatGPT, otrzymali zbliżone odpowiedzi.
Google · Twoje źródłaDodaj promptowy.com do preferowanych źródeł w Google→Eksperyment z zapowiedzią
Zamiast od razu unieważniać wyniki, Serrano zdecydował się na transparentny test. Napisał do studentów wprost: jeśli rozkład wyników egzaminu końcowego będzie zbliżony do śródokresowego, uzna ten ostatni za ważny. Jeśli nie - co sam wprost zapowiedział, że spodziewa się właśnie tego - egzamin domowy zostanie anulowany i całość oceny oparze na finale.
Reakcja studentów była wymowna. Osiemnastu wypisało się z kursu, a dziewięcioro kolejnych nie pojawiło się na stacjonarnym egzaminie finalnym. Spośród tych 27 osób aż 22 miało wcześniej idealne 100 punktów z egzaminu domowego.
Wyniki egzaminu stacjonarnego potwierdziły podejrzenia: wyniki spadły o około 50 procent w stosunku do domowego. Serrano zapowiedział unieważnienie marcowego egzaminu.
Sprawa z Brown nie jest odosobniona. Niedawna ankieta wśród studentów Princetonu wykazała, że 29,9 proc. przyznało się do użycia AI do ściągania przynajmniej raz - przy egzaminie lub zadaniu domowym. Przypadek Serrana daje jednak rzadki wgląd w skalę zjawiska w jednym konkretnym kursie: nie chodzi tu o akademickie szacunki, lecz o twardy eksperyment z mierzalnym efektem.
Uczelnia Ivy League przyciąga studentów, którzy z definicji są zdolni do samodzielnej pracy. Paradoks polega na tym, że właśnie ta presja i ambicja mogą skłaniać ich do szukania skrótów, które ostatecznie - jak pokazuje Brown - trudno ukryć.
Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.