Jak mierzyć zachowanie AI? Testy sytuacyjne zamiast kwestionariuszy osobowości

👁 132 przeczytań

Artykuł pochodzi od dziewięciorga autorów - Alexandry Yost, Shreyansa Jaina, Shivama Ravala, Granta Corsera, Allena Rousha, Niny Xu, Jacqueline Hammack, Ravida Shwartz-Ziva i Amirali Abdullaha - i został opublikowany na arXiv w październiku 2025 roku, a ostatnia wersja (v3) pochodzi z lipca 2026 roku. Liczy 100 stron.

Problem: czy persona w modelu językowym cokolwiek znaczy?

Powszechną praktyką przy pracy z dużymi modelami językowymi (LLM) jest tzw. warunkowanie personą - czyli wbudowywanie w prompt opisu postaci, której model ma się trzymać. Problem polega na tym, że dotychczas nie było jasne, czy taki zabieg wywołuje w modelu stabilną strukturę zachowania, czy tylko jego powierzchowne zróżnicowanie. Innymi słowy: czy model naprawdę „staje się” kimś innym, czy tylko losowo dobiera słowa pasujące do opisu?

Proponowane rozwiązanie: testy sytuacyjne zamiast samoopisu

Autorzy proponują ramę pomiarową opartą na trzech elementach. Pierwszym są SJT, czyli sytuacyjne testy oceny (Situational Judgment Tests) - narzędzia znane z psychologii pracy, w których badany dostaje opis konkretnej sytuacji i wybiera, jak by zareagował. Drugim elementem jest wielowymiarowa teoria odpowiedzi na pozycje (MIRT - Multidimensional Item Response Theory), statystyczna metoda wykrywania ukrytych cech z wzorców odpowiedzi. Trzecim są ustrukturyzowane syntetyczne persony stosowane na dużą skalę.

Odpowiedzi modeli traktowane są jako obserwacje ukrytych zmiennych behawioralnych - nie jako przejaw osobowości w ludzkim sensie, lecz jako stabilne tendencje behawioralne ujawniające się w różnych kontekstach. To rozróżnienie autorzy podkreślają wprost.

Co wykazały badania

Na podstawie dużych zbiorów danych SJT i person autorzy raportują trzy główne wyniki. Po pierwsze, zachowania warunkowane personą są stabilne między kolejnymi uruchomieniami modelu. Po drugie, wyniki na ukrytych cechach (latent trait scores) przewidują wyniki na zewnętrznych benchmarkach - jako przykłady wymienione są TruthfulQA i EmoBench. Po trzecie, metoda MIRT ujawnia spójną strukturę ukrytą w odpowiedziach modeli.

Wyniki zostały zwalidowane przez ludzkich adnotatorów, ewaluację na benchmarkach oraz analizy wewnętrznej spójności.

Dlaczego to lepsze niż klasyczne podejście?

Klasyczne podejście do badania „osobowości” modeli opiera się na samoopisie - model po prostu odpowiada na pytania kwestionariuszowe w stylu „czy jesteś osobą otwartą na doświadczenia?”. Autorzy twierdzą, że ewaluacja psychometryczna oparta na scenariuszach sytuacyjnych jest bardziej wiarygodną alternatywą dla takiego samoopisu przy ocenie zachowania LLM. Dokument nie wyjaśnia jednak szczegółowo, dlaczego tak jest - jest to jedynie wniosek końcowy streszczenia.

Dostępność danych

Autorzy deklarują udostępnienie zbiorów danych do dalszych badań. Kod i linki do danych są dostarczone pod adresem wskazanym w komentarzu do artykułu. Szczegółów technicznych dotyczących konkretnych modeli, które były testowane, ani liczby przetestowanych person dokument w dostarczonej mi wersji (tylko abstrakt i metadane) nie podaje.

Co z tego wynika

Moim zdaniem to badanie jest ważne z praktycznego powodu: jeśli wyniki latent trait scores rzeczywiście przewidują zachowanie na benchmarkach takich jak TruthfulQA, oznacza to, że mamy potencjalnie tańszy i szybszy sposób oceny modeli niż uruchamianie pełnych benchmarków. Zastrzeżenie jest jednak poważne - mam dostęp wyłącznie do abstraktu i metadanych, a nie do pełnych 100 stron artykułu. Nie wiem, jak duże były te efekty, na jakich modelach je obserwowano ani czy wyniki są powtarzalne poza środowiskiem autorów. Przy 100 stronach i trzech iteracjach artykułu (ostatnia z lipca 2026) jest to zapewne dojrzała praca, ale ocenę jej siły zostawiam do momentu, gdy ktoś ją zreplikuje.

Źródło: arXiv cs.AI: Measure what Matters: Psychometric Evaluation of AI with Situational Judgment Tests (dokument z 2026-07-31). To omówienie powstało na podstawie pełnego tekstu dokumentu, nie relacji innych mediów.

// czytaj dalejPatreon blokuje boty AI zamiast je prosić o grzeczne zachowanieNewsyUSA finalizują dobrowolne testy AI pod kątem zdolności hakerskichNewsyKanadyjski polityk odczytał w parlamencie instrukcję dla LLM zamiast przemówieniaNewsy