Czytelnicy wyżej oceniają opowiadania pisane przez AI niż przez ludzi - wynika z badania

👁 118 przeczytań

Opowiadania wygenerowane przez ChatGPT są przez czytelników oceniane jako bardziej wciągające i wyższej jakości niż te napisane przez ludzi - takie wnioski przynosi badanie opublikowane w piśmie Judgment and Decision Making. To jeden z pierwszych tak dużych eksperymentów testujących, jak odbieramy fikcję literacką tworzoną przez AI.

W badaniu wzięło udział 1682 dorosłych. Każdy z nich czytał jedno z sześciu krótkich opowiadań - trzy napisane przez człowieka i trzy przez ChatGPT, przy czym każda para tekstów dotyczyła zbliżonego tematu. Badacze informowali uczestników o źródle tekstu, ale ta informacja nie zawsze była prawdziwa. Po lekturze uczestnicy oceniali wciągającość i jakość historii.

Osoby, które faktycznie czytały tekst AI, wystawiały mu wyższe noty niż te, którym przypadło opowiadanie ludzkie. Jednocześnie badanie ujawniło silny efekt etykiety: uczestnicy konsekwentnie dawali wyższe oceny tekstom, o których powiedziano im, że napisał je człowiek - niezależnie od rzeczywistego autorstwa. Nastawienie do technologii też miało znaczenie: osoby z bardziej pozytywnym stosunkiem do AI lepiej oceniały teksty opisane jako wygenerowane przez ChatGPT.

Gorsi niż losowe zgadywanie

W kolejnym etapie 905 osób dostało dwa opowiadania na ten sam temat - jedno ludzkie, jedno maszynowe - i miało wskazać, które jest które. W jednym eksperymencie poprawnie odpowiedziało zaledwie około 40% uczestników, co jest wynikiem gorszym niż czyste zgadywanie. W drugim eksperymencie trafność wyniosła 52%.

„Systemy AI mogą już generować krótkie opowiadania postrzegane jako co najmniej tak dobre, jeśli nie lepsze od tych pisanych przez ludzi. Powinniśmy zaktualizować nasze oceny możliwości AI.”

- dr Deena Skolnick Weisberg z Villanova University, współautorka badania i sama pisarka.

Weisberg zaznacza jednak, że wyniki nie oznaczają końca ludzkiej literatury. Tłumaczy, że AI produkuje prostszy, łatwiejszy w odbiorze tekst, co może przekładać się na wyższe oceny czytelnicze - ale pisanie spełnia też inne funkcje: ekspresji, samopoznania, przepracowywania doświadczeń. Ciekawostką jest, że własna ekspertyza czytelnicza nie pomagała w rozpoznaniu autorstwa - za to znajomość systemów AI już tak.

Badanie stawia poważne pytanie o to, jak zmieni się rynek krótkiej fikcji literackiej, skoro przeciętny czytelnik nie tylko nie rozróżnia źródła tekstu, ale i preferuje to maszynowe.

// czytaj dalejRozmowy z Claude dostępne publicznie w wynikach GoogleNewsyJuniorzy używający AI nie uczą się debugowania - badanie AnthropicNewsyAI nie zwalnia ludzi. Robią to firmy - i chowają się za AINewsy