Dlaczego AI zmyśla i jak sprawdzam jej odpowiedzi

👁 113 przeczytań

Dlaczego AI zmyśla? W przypadku modelu językowego wyjaśniam to różnicą między generowaniem wiarygodnie brzmiącej odpowiedzi a sprawdzaniem faktów. Model może podać błędną informację pewnym tonem. Dlatego przy ważnym twierdzeniu proszę o źródło, otwieram je i porównuję treść. Gdy potwierdzenia brakuje, usuwam twierdzenie zamiast dopracowywać jego brzmienie.

Co nazywam zmyśleniem

O zmyśleniu mówię wtedy, gdy odpowiedź przedstawia nieprawdziwą lub niepotwierdzoną informację jako fakt. Może to być nieistniejący artykuł, wymyślony cytat albo funkcja produktu, której nie potrafię znaleźć w dokumentacji. Nie mylę tego z wyraźnie oznaczoną fikcją, o którą sam poprosiłem.

Nie traktuję słowa „zmyśla” jako dowodu świadomego oszustwa. Opisuję nim rezultat, który muszę ocenić. W dokumentacji dokładności i wiarygodności ChatGPT OpenAI wskazuje możliwość błędnych informacji, sfabrykowanych odniesień i odpowiedzi brzmiących pewnie mimo pomyłki. Sam styl nie rozstrzyga więc o prawdziwości.

Dlaczego samo pytanie nie wystarcza

Badanie Why Language Models Hallucinate analizuje między innymi rolę uczenia i oceniania modeli. Autorzy opisują, jak nagradzanie trafnych odpowiedzi bez odpowiedniego uwzględnienia niepewności może sprzyjać zgadywaniu. Nie przedstawiam tego jako jedynej przyczyny wszystkich błędów. To wyjaśnienie konkretnego mechanizmu.

Dla własnej pracy wyciągam prosty wniosek: nie wymagam odpowiedzi za wszelką cenę. Dopuszczam brak danych i pytanie doprecyzowujące. Gdy podaję niepełny materiał, proszę o wskazanie luk. Nadal sprawdzam wynik, ponieważ instrukcja o ostrożności nie jest dowodem, że każde zdanie zostało zweryfikowane.

Rozdzielam także wiedzę ogólną od informacji o moim pliku. Model może napisać przekonujący opis typowego raportu. Ja potrzebuję jednak treści konkretnego dokumentu. Jeśli załącznik nie został odczytany, ogólne omówienie nie zastępuje analizy źródła.

Jak sprawdzam odpowiedź

1. Wypisuję twierdzenia, od których zależy moja decyzja lub publikacja.
2. Oddzielam fakty od ocen, propozycji i przykładów fikcyjnych.
3. Otwieram wskazane źródła, najlepiej dokumentację producenta albo badanie.
4. Szukam fragmentu potwierdzającego dokładnie sprawdzane zdanie.
5. Sprawdzam zakres: produkt, sytuację, warunki i ograniczenia.
6. Poprawiam lub usuwam wszystko, czego nie potrafię potwierdzić.

Przy linku zadaję sobie osobne pytania. Czy strona istnieje? Czy dotyczy tego tematu? Czy rzeczywiście potwierdza twierdzenie? Działający adres rozwiązuje tylko część kontroli. Jeżeli zdanie opisuje konkretną funkcję, nie wystarcza mi ogólna strona o sztucznej inteligencji.

Przy cytacie porównuję słowa z oryginałem. Przy tabeli sprawdzam jednostki i znaczenie kolumn. Przy podsumowaniu spotkania szukam różnicy między propozycją a decyzją. Nie stosuję identycznej procedury do wszystkich materiałów, bo w każdym mogę przeoczyć inny rodzaj błędu.

Gotowe polecenia

Poniższe polecenia pomagają uporządkować kontrolę. Wklejam je do rozmowy, ale sam odbieram wynik. Gdy źródeł brakuje, asystent ma o nie poprosić.

Pomóż mi sprawdzić odpowiedź AI. Poproś o tekst i dostępne źródła. Podziel treść na twierdzenia faktyczne, opinie i propozycje. Przy każdym sprawdzanym fakcie wskaż podstawę albo brak potwierdzenia. Nie wymyślaj publikacji i linków. Jeżeli nie możesz otworzyć źródła, poproś o jego fragment. Nie używaj własnej pewności jako dowodu.

Chcę uzyskać odpowiedź wyłącznie na podstawie materiału źródłowego. Najpierw poproś o materiał i moje pytanie. Odpowiadaj tylko w zakresie, który wynika z przekazanej treści. Oddziel dosłowną informację od własnego wniosku. Jeśli odpowiedzi nie ma w materiale, napisz, czego brakuje. Nie uzupełniaj luk wiedzą ogólną bez mojego polecenia.

Przeprowadź kontrolę źródeł w moim tekście. Poproś o tekst z odnośnikami. Dla każdego linku sprawdź osobno, czy można go otworzyć i czy treść potwierdza przypisane twierdzenie. Jeśli nie masz dostępu do internetu, poproś o treść stron. Wypisz zdania do usunięcia lub zawężenia. Nie oznaczaj niedostępnego źródła jako sprawdzonego.

Czego się nie spodziewać

• Nie oczekuję, że polecenie „nie zmyślaj” zastąpi źródła.
• Nie traktuję przeprosin modelu jako potwierdzenia poprawionej wersji.
• Nie uznaję szczegółowego wyjaśnienia za dowód prawdziwości.
• Nie zakładam poprawności cytatu na podstawie nazwiska znanego autora.
• Nie przyjmuję zgodności kolejnych odpowiedzi za niezależną weryfikację.

Jak poprawiam materiał po wykryciu błędu

W notatkach zachowuję informację, które fragmenty już sprawdziłem. Oddzielam je od miejsc nadal otwartych. Dzięki temu kolejne wygładzenie stylu nie nadaje całemu szkicowi pozoru zatwierdzenia. Przy ponownej redakcji porównuję właśnie te zdania, w których zmiana słowa może rozszerzyć potwierdzony zakres.

Zatrzymuję pracę nad fragmentem opartym na błędnym założeniu. Najpierw poprawiam podstawę, później argumentację i zakończenie. Nie wystarcza mi podmiana samej liczby, jeśli od tej liczby zależał wniosek. Sprawdzam także podpisy, nagłówki i skróty, które mogły powtórzyć błąd.

Jeśli nie mogę potwierdzić szczegółu, pozostawiam go poza tekstem. W notatce redakcyjnej zapisuję, czego szukałem i czego brakuje. Dzięki temu nie wraca w następnym szkicu jako pozornie ustalona informacja. Nie dopisuję źródła dopiero po napisaniu atrakcyjnej tezy.

Podstawy działania narzędzi opisuję w tekście czym jest sztuczna inteligencja. Osobno omawiam detektory AI. Pytanie o autorstwo tekstu odróżniam od pytania, czy jego treść jest prawdziwa. Własną kontrolę faktów prowadzę niezależnie od podejrzeń dotyczących sposobu napisania materiału.

AI zmyśla, ponieważ wygenerowanie przekonującej wypowiedzi nie oznacza potwierdzenia jej prawdziwości. W pracy z modelem dopuszczam niewiedzę, dostarczam źródła i sprawdzam ważne twierdzenia. To na ich podstawie podejmuję decyzję, czy wykorzystać odpowiedź.