Jak działa ChatGPT i inne LLM-y? Wyjaśnienie bez matematyki

👁 220 przeczytań

ChatGPT nie myśli, nie rozumie i nie wie, że istniejesz. A mimo to potrafi napisać list motywacyjny, debugować kod i streścić raport lepiej niż większość ludzi. Ten paradoks rozwiązuje się jednym zdaniem: model językowy nie odpowiada na Twoje pytanie - on przewiduje, jak wyglądałby tekst, który po tym pytaniu logicznie następuje. Gdy zrozumiesz tę różnicę, przestaniesz traktować AI jak wyrocznię, a zaczniesz jak bardzo sprawne, ale bezmyślne narzędzie do uzupełniania tekstu. Poniżej tłumaczę cały mechanizm bez jednego wzoru - i pokazuję, co z tego wynika dla Twoich promptów.

LLM to maszyna do zgadywania następnego fragmentu tekstu

Duży model językowy (LLM - Large Language Model) robi w praktyce jedną rzecz: przewiduje najbardziej prawdopodobny kolejny kawałek tekstu na podstawie tego, co już ma przed sobą. Dostaje „Stolica Polski to” i typuje „Warszawa”. Potem dokleja zgadnięte słowo do wejścia i pyta sam siebie: a co teraz? Następne słowo, i następne. Cała pozornie inteligentna odpowiedź to ciąg milionów takich przewidywań ustawionych jedno po drugim.

To dlatego ten sam prompt potrafi dać różne odpowiedzi. Model nie wybiera zawsze najbardziej prawdopodobnego słowa - często losuje z grona prawdopodobnych kandydatów. Steruje tym parametr zwany temperaturą: niższa daje odpowiedzi przewidywalne i powtarzalne, wyższa - bardziej kreatywne i ryzykowne. Jeśli kiedykolwiek zastanawiałeś się, czemu AI raz napisze świetny wiersz, a raz bełkot - to właśnie ten mechanizm losowania w akcji.

Skąd model wie, co zgadywać - trening na wzorcach

Model „przeczytał” ogromną część publicznego internetu, książek i dokumentacji - biliony słów. Kluczowe: nie zapamiętał ich jak baza danych, z której da się wyciągnąć konkretny rekord. Zamiast tego w trakcie treningu wyłapał wzorce. Nauczył się, że po „Szanowny” zwykle idzie „Panie”, że przepis kulinarny zaczyna się od listy składników, że funkcja w Pythonie ma dwukropek i wcięcie, a artykuł naukowy ma inny rejestr językowy niż komentarz na forum.

Te wzorce nie są zapisane jako reguły, które ktoś wpisał ręcznie. Siedzą rozproszone w miliardach liczb zwanych parametrami - to one zostają dostrojone podczas treningu tak, by model coraz trafniej przewidywał kolejne słowo. Dlatego model nie ma w środku „wiedzy o świecie” w ludzkim sensie. Ma statystyczne odwzorowanie tego, jak ludzie piszą o świecie. Często to wystarcza, by brzmiał jak ekspert. Czasem prowadzi go prosto w błąd.

Drugi etap, równie ważny, to dostrajanie pod kątem przydatności. Surowy model po samym treningu na internecie potrafi dokończyć tekst, ale niekoniecznie odpowie na pytanie - mógłby równie dobrze wygenerować kolejne pytania. Dopiero trening na przykładach dobrych odpowiedzi i informacja zwrotna od ludzi uczą model, że gdy ktoś pyta, oczekuje pomocnej, uprzejmej odpowiedzi. To dlatego ChatGPT zachowuje się jak asystent, a nie jak autodopełnianie w wyszukiwarce.

Tokeny - waluta i jednostka pamięci modelu

Model nie widzi liter ani całych słów. Widzi tokeny - kawałki tekstu o długości zwykle kilku znaków. Częste słowa to jeden token, rzadsze rozpadają się na kilka. W języku polskim, z ogonkami i odmianą, tekst dzieli się na więcej tokenów niż po angielsku, co warto wiedzieć przy liczeniu kosztów. Z grubsza przyjmuje się, że jeden token to około czterech znaków.

Tokeny mają trzy praktyczne konsekwencje, które realnie wpływają na Twoją pracę:

• Cena. Modele rozliczają się „za milion tokenów” - osobno za to, co wysyłasz (wejście), i za to, co dostajesz (wyjście). Im dłuższy prompt i dłuższa odpowiedź, tym drożej.
• Okno kontekstu. Model ogarnia naraz tylko określoną liczbę tokenów - to jego pole widzenia. Wszystko, co poza nim, znika. Przy długiej rozmowie najstarsze fragmenty mogą wypaść z kontekstu, dlatego model „zapomina”, co ustaliliście na początku.
• Liczenie znaków i sylab. Skoro model widzi tokeny, a nie litery, słabo radzi sobie z zadaniami w stylu „ile liter ma to słowo” albo „napisz zdanie bez litery e”. To nie głupota - to ślepota na poziomie, na którym takie zadania się rozgrywają.

Dlaczego model zmyśla - halucynacje wyjaśnione

Skoro model zawsze typuje najbardziej prawdopodobny dalszy ciąg, to gdy nie ma w sobie właściwej informacji, nie zatrzyma się i nie powie „nie wiem”. Wygeneruje coś, co brzmi prawdopodobnie. Wymyśli tytuł książki, który mógłby istnieć. Poda przekonujący, ale nieistniejący numer artykułu ustawy. Przypisze cytat osobie, która mogłaby go wypowiedzieć. To nie kłamstwo - kłamstwo zakłada intencję i świadomość prawdy. To statystyka, która trafiła w atrakcyjnie wyglądający, lecz fałszywy ciąg słów.

Najgroźniejsze jest to, że halucynacje brzmią dokładnie tak samo pewnie jak prawdziwe odpowiedzi. Model nie ma wbudowanego „miernika pewności”, który by Cię ostrzegł. Dlatego ślepe zaufanie do AI w obszarach, gdzie liczy się dokładność, kończy się wpadką - od fałszywego orzecznictwa po nieistniejące funkcje biblioteki programistycznej.

Zasada robocza: traktuj każdą liczbę, nazwisko, datę, cytat i przepis prawa z LLM-a jak hipotezę do sprawdzenia, a nie jak fakt. Im poważniejsza decyzja, tym twardsza weryfikacja w wiarygodnym źródle.

Halucynacje da się ograniczyć. Pomaga podanie modelowi materiału źródłowego w prompcie (wkleisz dokument - model odpowiada z niego, a nie z pamięci), proszenie o cytowanie fragmentów oraz wyraźne pozwolenie na odpowiedź „nie wiem”. Pomaga też wybór modeli z dostępem do wyszukiwarki, które zanim odpowiedzą, faktycznie sprawdzają strony.

Czym różnią się modele „rozumujące”

Nowsza generacja modeli zanim odpowie, generuje niewidoczny dla Ciebie brudnopis - rozkłada problem na kroki, sprawdza pośrednie wyniki, wraca i poprawia własne błędy. Dopiero potem pisze finalną odpowiedź. To wciąż przewidywanie kolejnych tokenów, ale model najpierw „przewiduje” sam proces myślenia, a dzięki temu trafia celniej w zadaniach wymagających wielu kroków.

Efekt jest odczuwalny tam, gdzie starsze modele się wykładały: w matematyce, logice, planowaniu wieloetapowym i w trudniejszym kodzie. Cena tego jest dosłowna - rozumowanie zajmuje więcej czasu i zużywa więcej tokenów, więc kosztuje. Do prostego przeredagowania maila czy streszczenia notatki tryb rozumowania to przepłacanie. Do zaprojektowania złożonego algorytmu albo rozplątania zawiłej argumentacji - opłaca się każdy grosz.

Praktyczna reguła wyboru:

• Zadania szybkie i językowe (przeredaguj, streść, przetłumacz, wygeneruj warianty) - zwykły, szybki model.
• Zadania wieloetapowe (analiza danych, debugowanie, dowodzenie, planowanie z ograniczeniami) - model rozumujący.
• Zadania na świeżych faktach (aktualne ceny, wydarzenia, dane rynkowe) - model z dostępem do internetu, niezależnie od trybu.

Jak pisać prompty, skoro model tylko uzupełnia tekst

Najważniejszy wniosek z całego mechanizmu: model nie czyta w myślach, tylko uzupełnia podany tekst. Im lepiej ustawisz początek, tym lepszy dostaniesz ciąg dalszy. Skuteczny prompt to nie zaklęcie, tylko dobrze przygotowane wejście. Cztery elementy, które realnie podnoszą jakość:

• Rola i cel - kim model ma być i co konkretnie wytworzyć.
• Kontekst - dla kogo, w jakiej sytuacji, jakie są ograniczenia.
• Format - długość, struktura, ton, język.
• Przykład lub materiał - próbka pożądanego stylu albo dane do przetworzenia.

Zamiast: „Napisz mi ofertę”. Daj modelowi z czego budować:

Jesteś copywriterem B2B. Napisz e-mail ofertowy (do 150 słów, ton rzeczowy, bez przesadnego entuzjazmu) do dyrektora HR w firmie produkcyjnej 200+ osób. Oferujemy szkolenie z obsługi AI dla zespołów. Korzyść główna: oszczędność czasu na powtarzalnych zadaniach. Zakończ jednym konkretnym pytaniem umawiającym 20-minutową rozmowę.

Kolejna technika wynikająca wprost z mechanizmu: jeśli chcesz, by model „pomyślał”, każ mu rozpisać rozumowanie, zanim poda wynik. W prostych modelach działa prośba „rozpisz rozumowanie krok po kroku, dopiero potem podaj odpowiedź”. Wymusza to wygenerowanie pośrednich kroków, na których model może się oprzeć - zamiast strzelać finalną odpowiedzią od razu.

Przy faktach buduj prompt tak, żeby utrudnić halucynację:

Na podstawie WYŁĄCZNIE wklejonego niżej tekstu odpowiedz na pytanie. Jeśli odpowiedzi nie ma w tekście, napisz „Brak w materiale”. Przy każdym twierdzeniu zacytuj fragment, z którego ono wynika. [tu wklejasz dokument]

Najczęstsze nieporozumienia, które warto sobie odpuścić

Kilka mitów, które wynikają z traktowania modelu jak świadomej istoty - i które kosztują czas oraz pieniądze:

• „Model pamięta naszą wczorajszą rozmowę.” Domyślnie nie - w obrębie jednej rozmowy widzi tylko to, co mieści się w oknie kontekstu, a między rozmowami zaczyna od zera, chyba że dany produkt ma osobną funkcję pamięci. Ważne ustalenia powtarzaj lub trzymaj w jednym dokumencie do wklejenia.
• „Skoro raz odpowiedział dobrze, zawsze odpowie tak samo.” Przez losowanie kolejnego słowa odpowiedzi się różnią. Do procesów, które mają być powtarzalne, używaj precyzyjnych instrukcji i ewentualnie niższej temperatury, jeśli masz do niej dostęp.
• „Im dłuższy promp
  
  // Newsletter

  Cały tydzień w AI, w jednym mailu

  Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.

  Zapisz się za darmo →

  Za darmo. Wypisujesz się jednym kliknięciem.

  Najczęstsze pytania

  Dlaczego ChatGPT podaje fałszywe informacje, skoro brzmi tak pewnie?

  Model nie ma wbudowanego miernika pewności i zawsze generuje statystycznie prawdopodobny ciąg tekstu, nawet gdy właściwa odpowiedź nie istnieje w jego wzorcach. Może więc podać nieistniejący numer artykułu ustawy lub cytat przypisany błędnej osobie - bez żadnego ostrzeżenia.

  Co to jest okno kontekstu w modelu językowym i jak wpływa na rozmowę?

  Okno kontekstu to maksymalna liczba tokenów, którą model widzi naraz - wszystko poza nim znika. Przy długiej rozmowie najstarsze fragmenty wypadają z kontekstu, dlatego model zachowuje się, jakby zapomniał wcześniejszych ustaleń.

  Jak pisać lepsze prompty do ChatGPT, żeby dostawać lepsze odpowiedzi?

  Skuteczny prompt powinien zawierać cztery elementy: rolę i cel modelu, kontekst sytuacji, oczekiwany format oraz przykład lub materiał źródłowy. Zamiast "Napisz ofertę" podaj długość, ton, odbiorcę, główną korzyść i oczekiwane zakończenie wiadomości.

  Czym różni się model rozumujący od zwykłego modelu językowego?

  Model rozumujący przed udzieleniem odpowiedzi generuje niewidoczny brudnopis, w którym rozkłada problem na kroki i poprawia własne błędy. Kosztuje więcej tokenów i czasu, więc nadaje się do matematyki, debugowania i planowania wieloetapowego, a nie do prostego tłumaczenia czy streszczenia.

  // czytaj dalejJak rozwija się ChatGPT?ChatGPTJakie są najciekawsze zastosowania ChatGPT?ChatGPTJakie są potencjalne zagrożenia związane z korzystaniem z ChatGPT?ChatGPT