Detektory AI: co mówi wynik i jak sprawdziłbym tekst

👁 113 przeczytań

Detektory AI traktuję jako narzędzia dające sygnał do dalszego sprawdzenia tekstu. Nie uznaję ich wyniku za samodzielny dowód autorstwa. Zanim wyciągnę wniosek, sprawdzam znaczenie raportu, obsługiwany język i sposób powstania materiału. To szczególnie ważne, gdy od oceny zależy przyjęcie artykułu, zaliczenie pracy albo zarzut wobec autora.

Co właściwie pokazuje detektor

W pierwszej kolejności czytam dokumentację konkretnej usługi. Nie zakładam, że procent na ekranie oznacza prawdopodobieństwo użycia AI. W raporcie Turnitin oznacza on udział analizowanego tekstu zakwalifikowanego jako prawdopodobnie wygenerowany lub odpowiednio przekształcony przez AI. To inne znaczenie niż pewność oszustwa.

Turnitin zastrzega także możliwość błędnego rozpoznania tekstu człowieka i treści wygenerowanej. Producent odradza używanie wyniku jako jedynej podstawy działań na niekorzyść ucznia lub studenta. Dla mnie oznacza to konieczność rozmowy i weryfikacji dodatkowych materiałów.

Źródło interpretacji raportu i ograniczeń: Turnitin, „Using the AI Writing Report”, guides.turnitin.com

Nie utożsamiam też wykrywania AI z kontrolą plagiatu. Turnitin opisuje wynik wykrywania AI jako niezależny od wyniku podobieństwa. Gdy chcę ocenić rzetelność artykułu, osobno sprawdzam źródła, cytaty i pochodzenie zapożyczonych fragmentów. Sam styl tekstu nie odpowiada na te pytania.

Co wynika z badań, a czego nie uogólniam

W pracy „GPT detectors are biased against non-native English writers” Weixin Liang i współautorzy opisali błędne oznaczanie angielskich tekstów osób, dla których angielski nie był językiem ojczystym. Badanie dotyczyło określonych narzędzi i próbek. Nie przenoszę jego wyniku automatycznie na dowolny detektor ani na teksty polskie.

Źródło badania: Weixin Liang i współautorzy, „GPT detectors are biased against non-native English writers”, arxiv.org

W publikacji „Different Time, Different Language: Revisiting the Bias Against Non-Native Speakers in GPT Detectors” Adnan Al Ali, Jindřich Helcl i Jindřich Libovický zbadali temat między innymi w kontekście czeskiego. W badanych detektorach nie stwierdzili systematycznego uprzedzenia wobec osób nienatywnych. Autorzy wskazują znaczenie języka i warunków badania.

Źródło badania: Adnan Al Ali, Jindřich Helcl i Jindřich Libovický, „Different Time, Different Language: Revisiting the Bias Against Non-Native Speakers in GPT Detectors”, arxiv.org

Mój wniosek jest ograniczony: oceniam konkretne narzędzie w konkretnym zastosowaniu. Nie piszę, że wszystkie detektory są bezużyteczne. Nie piszę też, że pozytywny wynik zamyka sprawę. Do oceny polskiego tekstu potrzebowałbym danych dotyczących polskiego i podobnego rodzaju materiałów.

Jak sprawdziłbym podejrzany tekst

1. Zapisuję nazwę narzędzia, ustawienia i pełny raport. Nie opieram oceny na wyrwanym z kontekstu zrzucie procentu.
2. Sprawdzam, czy usługa obsługuje język oraz rodzaj badanego materiału.
3. Czytam zaznaczone fragmenty i kontroluję podane w nich fakty.
4. Proszę autora o wyjaśnienie sposobu pracy, źródła i dostępne szkice.
5. Porównuję wyjaśnienia z historią dokumentu, jeśli została zachowana.
6. Oddzielam potwierdzone problemy od przypuszczeń dotyczących użytego narzędzia.

Jeśli znajduję zmyślony cytat, mogę wskazać konkretny błąd niezależnie od autorstwa. Jeżeli tekst jest poprawny, lecz detektor go oznaczył, sam wynik nie daje mi podstawy do dopisania historii jego powstania. Brak szkiców również nie wystarcza mi do takiego wniosku.

Gotowe polecenie do kontroli treści

Przeanalizuj poniższy tekst pod kątem rzetelności.
Nie oceniaj autorstwa na podstawie stylu.
Wypisz twierdzenia wymagające źródła, niespójności i cytaty do sprawdzenia.
Oddziel błędy możliwe do wykazania od kwestii, których nie możesz ustalić.
Nie wymyślaj źródeł. Przy każdym problemie wskaż fragment tekstu.
Tekst: [wklejam materiał]

Takie polecenie wykorzystałbym pomocniczo. Ostatecznie otworzyłbym źródła i sprawdził wskazane miejsca. Odpowiedź chatbota nie zastępuje raportu z rzeczywistej kontroli. Nie proszę go też o rozpoznawanie autora na podstawie „brzmienia AI”.

Czego się nie spodziewać

• Nie oczekuję bezbłędnego rozstrzygnięcia autorstwa. Dokumentacja Turnitin wprost dopuszcza pomyłki.
• Nie traktuję niskiego wyniku jako potwierdzenia rzetelności faktów ani poprawności cytowania.
• Nie przyjmuję wyników dla angielskiego jako dowodu skuteczności wobec polskiego.
• Nie uśredniam procentów z różnych usług bez znajomości ich znaczenia.
• Nie zakładam, że raport rozróżni każdą formę współpracy człowieka z narzędziem, od korekty po napisanie całego szkicu.

Jak porównałbym narzędzia przed użyciem

Przygotowałbym zestaw materiałów o znanym pochodzeniu, zbliżonych do tekstów, które mam oceniać. Zachowałbym także informację o redakcji i tłumaczeniu. Nie mieszałbym w jednym wyniku wypracowań, krótkich opisów produktów i tekstów naukowych bez rozdzielenia tych kategorii.

Osobno zapisałbym przypadki niesłusznego oznaczenia pracy człowieka oraz niewykrycia tekstu wygenerowanego. Interesują mnie oba rodzaje pomyłek. Przed próbą ustaliłbym też, jakie działanie ma uruchamiać raport. Do skierowania fragmentu do ręcznej kontroli potrzebuję innej podstawy niż do postawienia zarzutu autorowi. Nawet przy dobrych wynikach własnej próby zachowałbym ten podział.

Co zrobiłbym po błędnym oznaczeniu mojego tekstu

Poprosiłbym o pełny raport i kryteria oceny. Następnie zebrałbym dostępne notatki, materiały źródłowe i kolejne wersje dokumentu. Wyjaśniłbym też, czy korzystałem z korekty, tłumaczenia albo generowania fragmentów. Nie zmieniałbym tekstu tylko po to, żeby dopasować się do wskaźnika.

Przy ocenie cudzej pracy najpierw ustaliłbym dopuszczalny zakres użycia AI. Inaczej rozmawiam o dozwolonej korekcie językowej, a inaczej o przedstawieniu cudzego lub wygenerowanego tekstu jako samodzielnej pracy. Zasady powinny być znane przed rozpoczęciem zadania.

Detektory AI mogą mi pomóc wybrać fragment do sprawdzenia, ale nie powierzam im samodzielnego rozstrzygania autorstwa. Jeśli chcę ocenić tekst uczciwie, łączę raport z kontrolą treści, źródeł i procesu pisania. Dopiero na tej podstawie formułuję wniosek.

Powiązane tematy

Jeśli szukasz sąsiedniego zastosowania, mam o tym osobne teksty: tym, jak działa sztuczna inteligencja. W każdym jest sekcja o ograniczeniach narzędzi, bo to zwykle rozstrzyga, czy warto się w coś wdrażać.