Recenzja naukowa się sypie. Czy AI ją dobije, czy uratuje?

👁 148 przeczytań

System peer review nie upada dramatycznie - cicho gnije. I właśnie dlatego jest to problem trudniejszy do rozwiązania niż większość tych, którymi zajmuje się dzisiejsza nauka.

Jason Semprini, ekonomista zdrowia z Des Moines University, przesłał do czasopisma artykuł o polityce obowiązkowych szczepień HPV w szkołach podstawowych. Jego wynik był nieoczywisty: mandaty szczepionkowe nie przekładają się istotnie na spadek zachorowalności na raka szyjki macicy w populacji. To nie jest twierdzenie, że szczepionka nie działa - to obserwacja, że przymus prawny wywołuje opór i skłania część rodziców do szukania obejść. Różnica fundamentalna. Jedyny recenzent jej nie dostrzegł. Pomylił ocenę polityki zdrowotnej z kwestionowaniem skuteczności szczepionki i odrzucił pracę. Ponieważ był jedynym recenzentem - nie dwójką ani trójką, jak w standardowej procedurze - nie było nikogo, kto mógłby sprostować błąd. Praca przepadła.

Ten przypadek nie jest anegdotą. Jest symptomem.

Liczby, które dają do myślenia

Liczba artykułów indeksowanych w bazach Scopus i Web of Science rośnie wykładniczo - 5,6% rocznie. Globalnie naukowcy poświęcają na recenzowanie łącznie 15 000 lat pracy każdego roku. Gdyby to była praca płatna, sam udział amerykańskich badaczy kosztowałby 1,5 miliarda dolarów. Oczywiście nie jest płatna - recenzenci pracują za darmo, z poczucia obowiązku wobec wspólnoty naukowej.

To poczucie obowiązku powoli się wyczerpuje. Haseeb Irfanullah z rady redakcyjnej Learned Publishing (wydawca Wiley) mówi wprost, że znalezienie recenzentów to dziś walka. Steven Mack, redaktor Human Immunology, musiał niedawno wysłać zaproszenia do trzydziestu naukowców, żeby skompletować jedną recenzję. Pięć lat temu - jak szacuje - wystarczyło pięć do dziesięciu maili, by znaleźć trzech chętnych. Trzy do jednego w ciągu półdekady. To nie jest trend, który sam się odwróci.

Dlaczego to się nie naprawi samo

Problem ma charakter strukturalny, nie moralny. Naukowcy nie stali się leniwi - zmieniły się incentywy. Recenzowanie nie liczy się w akademickich awansach. Granty zdobywa się za publikacje, nie za rzetelne opiniowanie cudzych manuskryptów. System nagradza produkcję, nie weryfikację. Efekt jest przewidywalny: recenzenci są coraz bardziej przepracowani, coraz mniej zaangażowani, coraz częściej niewłaściwie dobrani do tematu.

Mikrobiolog Sebastian Lourido z Whitehead Institute opisuje to jako proces „niezwykle przewlekły i bolesny”. Nie brzmi jak opis fundamentu nauki. Brzmi jak opis biurokracji, która przeżyła swój cel.

Konsekwencją jest to, że badacze zaczynają szukać wyjść bocznych. Środowisko AI Research zrobiło to najgłośniej - przełomowe wyniki trafiają tam dziś na blogi, arXiv i media społecznościowe, zanim jakakolwiek redakcja zdąży wysłać zaproszenie do recenzenta. Model GPT-4, Llama, Gemini - żaden z tych systemów nie czekał na imprimatur tradycyjnego czasopisma, żeby zmienić branżę. To nie jest przypadek. To jest sygnał, że dla pewnych dziedzin szybkość i dostępność wygrały z rygorystyczną weryfikacją.

AI jako problem i jako potencjalne wyjście

Ironia polega na tym, że narzędzia AI - które między innymi napędzają lawinę nowych publikacji - mogłyby też wziąć na siebie część pracy recenzentów. Istnieją już systemy automatycznie sprawdzające spójność statystyczną, wykrywające podejrzane dane czy identyfikujące potencjalne konflikty interesów. Nie zastąpią eksperta, który rozumie niuanse metodologiczne, ale mogłyby odfiltrować prace z oczywistymi błędami formalnymi - właśnie te, które dziś pożerają czas recenzentów nieproporcjonalnie dużo.

Problem w tym, że nikt nie chce powiedzieć głośno: oddajemy część kontroli nad nauką algorytmowi. Choć de facto już to robimy - bo kontrola sprawowana przez przemęczonego, źle dobranego, jedynego recenzenta to kontrola wyłącznie z nazwy.

Semprini powiedział o peer review, że to „fundament nauki”. Ale dodał też, że w tej chwili „nie stoi pewnie”. Mam wrażenie, że ta druga część zdania jest ważniejsza. Fundamenty, które nie stoją pewnie, nie upadają od razu - pękają niewidocznie, a potem któregoś dnia ktoś się dziwi, że cały budynek się przechyla.

Czy AI ten budynek podepchnie, czy go podtrzyma - zależy od tego, czy środowisko naukowe zechce na poważnie porozmawiać o tym, czemu peer review w ogóle służy. Nie jako rytuał legitymizacji, ale jako mechanizm weryfikacji. Na razie rozmowy tej nie ma. Jest za to trzydzieści maili wysłanych w nadziei, że ktoś - ktokolwiek - znajdzie czas, żeby przeczytać czyjąś pracę.

// czytaj dalejAgenci AI nie są gotowi do samodzielnego prowadzenia badań naukowychNewsyPierwsze wirusy zaprojektowane przez AI - naukowcy ostrzegają przed luką w przepisachNewsyAI dorobiło rzadkiego ptaka na zdjęciu z Brazylii - naukowcy biją na alarmNewsy