Generatywny dług
Jak sztuczna inteligencja zaśmieca internet szybciej niż potrafi go oczyścić.
Jest takie zdjęcie z lat 90., które krąży po internecie od dekad. Dwóch mężczyzn stoi przy ogromnej instalacji serwerów - ściany metalowych szaf, migające diody, kable jak wnętrzności jakiegoś prehistorycznego stwora. Pod spodem podpis: „Tak wyglądał internet w 1996 roku”. Całość mieściła się w jednym pokoju.
- Generatywny dług polega na tym, że kolejne modele AI, takie jak GPT-5, uczą się na tekstach stworzonych przez wcześniejsze AI, co prowadzi do kolapsu modelu opisanego w 'Nature' w sierpniu 2023 roku.
- Firma Originality przeanalizowała 10 milionów stron i stwierdziła, że prawie połowa nowych treści nosi znamiona pisania maszynowego, a w opisach produktów odsetek ten sięga 90 procent.
- Detektor OpenAI do rozpoznawania tekstów AI osiągnął skuteczność zaledwie 26 procent, co jest gorsze od losowego rzutu monetą, więc nie istnieje dziś skuteczna metoda odróżnienia treści maszynowych od ludzkich.
Dzisiaj internet waży około 50 miliardów gigabajtów i przybywa mu 2,5 miliona gigabajtów dziennie. Gdyby spróbować to wydrukować - wszystkie strony, wpisy, zdjęcia, filmy - potrzebowalibyśmy stosu papieru sięgającego od Ziemi do Księżyca. I z powrotem. Około stu razy.
W tym stosie, gdzieś między memami z kotami a rozprawami doktorskimi, kryje się problem, którego nikt nie przewidział: coraz większa część tego internetu pisze sam siebie. Maszyny uczące się od maszyn. Algorytmy kopiujące algorytmy. Sztuczna inteligencja karmiąca się sztuczną inteligencją.
I nikt nie wie, jak to zatrzymać.
Sierpień 2023. Grupa naukowców z Oksfordu publikuje w „Nature” badanie, które brzmi jak scenariusz taniego filmu science fiction: co się stanie, jeśli sztuczna inteligencja zacznie uczyć się na tekstach napisanych przez sztuczną inteligencję? Odpowiedź jest brutalna - system zaczyna się sypać. Powoli, nieubłaganie, nieodwracalnie.
Nazwali to kolapsem modelu.
Mechanizm jest prosty jak przekręcona gra w głuchy telefon. Pierwsza osoba szepcze: „W zielonym ogrodzie rosną czerwone róże”. Druga powtarza: „W ogrodzie rosną róże”. Trzecia: „Rosną róże”. Dziesiąta: „Róże”. Dwudziesta: cisza.
Z każdym krokiem tracimy szczegóły. Niuanse. Kolory. Kontekst. Po wystarczającej liczbie iteracji zostaje echo - puste, ogołocone z sensu.
Dokładnie to samo dzieje się z modelami językowymi. ChatGPT uczył się na tekstach napisanych przez ludzi. Ale następna generacja - GPT-5, którego premiera planowana jest na wrzesień tego roku - będzie się uczyła na internecie z lat 2023-2025. A internet z tych lat to już w dużej mierze internet napisany przez ChatGPT.
Pętla się zamyka.
Próbuję sobie wyobrazić, jak to wygląda od środka. Siedzisz w biurze OpenAI, masz przed sobą najnowszy model, który pochłonął pięćset miliardów słów z sieci. Testujesz go. Pytasz: „Opowiedz mi o upadku Rzymu”.
Model odpowiada gładko, profesjonalnie. Wymienia akwedukty, Koloseum, najazdy barbarzyńców. Wszystko się zgadza. Wszystko brzmi przekonująco.
Ale jest problem, którego nie widzisz: ta odpowiedź jest identyczna z odpowiedzią, którą wygenerował poprzedni model. I z odpowiedzią, którą wygenerował model przed tamtym. Te same zdania, te same metafory, ten sam rytm. Bo wszystkie trzy uczyły się od siebie nawzajem.
Internet przestał być biblioteką ludzkich myśli. Stał się halą luster, w której maszyny odbijają własne odbicia.
Nie mówimy tu o science fiction. Mówimy o czymś, co dzieje się teraz, na naszych oczach.
W grudniu ubiegłego roku portal Originality - firma specjalizująca się w wykrywaniu treści generowanych przez sztuczną inteligencję - przeanalizował dziesięć milionów stron internetowych opublikowanych w ciągu ostatnich dwóch lat. Wyniki były oszałamiające: prawie połowa nowych treści nosiła znamiona pisania maszynowego.
W niektórych kategoriach było jeszcze gorzej. Opisy produktów w sklepach internetowych? Prawie dziewięćdziesiąt procent. Artykuły poradnikowe w stylu „jak zrobić” czy „najlepsze sposoby na”? Siedemdziesiąt procent. Odpowiedzi na forach technicznych? Ponad połowa.
Największa platforma dla programistów - Stack Overflow - w maju zeszłego roku całkowicie zakazała publikowania odpowiedzi pisanych przez sztuczną inteligencję. Powód? Kod przestał działać. Użytkownicy zaczęli zgłaszać, że rozwiązania „sprawdzone” przez społeczność powodują dziwne błędy. Okazało się, że modele odpowiadały na podstawie wcześniejszych odpowiedzi innych modeli. Które były niepoprawne. Ale miały dużo polubień - bo ludzie kopiowali kod bez testowania.
Błąd rodził błąd. Błąd stawał się prawdą. Prawda zatruwała kolejne modele.
Jest w tym coś głęboko niepokojącego. Bo problem nie polega na tym, że sztuczna inteligencja pisze źle. Problem polega na tym, że pisze dobrze. Zbyt dobrze. Tak dobrze, że przestajemy rozróżniać, co jest autentyczne, a co wygenerowane.
Badacze ze Stanfordu w sierpniu ubiegłego roku przeanalizowali pięćdziesiąt tysięcy streszczeń naukowych opublikowanych w ciągu ostatnich pięciu lat. Odkryli coś niesamowitego: w tekstach z ostatnich dwóch lat dramatycznie wzrosła częstotliwość pewnych zwrotów. „Warto zauważyć”. „Kluczowe jest zrozumienie”. „Należy zgłębić temat”. Frazy, które sztuczna inteligencja uwielbia - bo brzmią mądrze, profesjonalnie, akademicko.
Ale nie chodziło o to, że ludzie świadomie kopiowali styl maszyn. Chodziło o to, że używali ChatGPT do „wypolerowania” swoich tekstów - poprawienia składni, wygładzenia stylu, dodania „profesjonalizmu”. I sami nie zauważali, że ich język zaczyna brzmieć maszynowo.
Jednorodność wkrada się podstępnie. Nie przez zastąpienie, ale przez asymilację.
Rozmawiałem kiedyś z redaktorem dużego portalu internetowego. Powiedział coś, co zostało mi w pamięci: „Dziesięć lat temu łatwo było poznać dobry tekst. Czuło się autora. Widziało się jego styl, dziwactwa, skróty myślowe. Dzisiaj wszystko brzmi tak samo. Gładkie. Czyste. Puste”.
Pytam: czy to wina sztucznej inteligencji?
„Nie wiem. Może po prostu wszyscy piszą, jakby byli maszynami. Bo wiedzą, że maszyny mają lepsze zasięgi”.
To zresztą prawda. Specjaliści od optymalizacji dla wyszukiwarek - ci, którzy zajmują się tym, żeby wasze artykuły pojawiały się wysoko w Google - odkryli niedawno coś fascynującego: algorytm Google coraz częściej premiuje teksty napisane przez sztuczną inteligencję. Nie dlatego, że są lepsze, ale dlatego, że są lepiej zoptymalizowane. Spełniają wszystkie kryteria - słowa kluczowe, struktura, długość, linkowanie.
Powstała pętla zwrotna. Sztuczna inteligencja pisze treści pod algorytm Google. Google - sam będący sztuczną inteligencją - nagradza je wysoką pozycją. Ludzie czytają te treści, kopiują wzorce, uczą się stylu. Nowe modele uczą się na tych tekstach. I generują jeszcze bardziej zoptymalizowane wersje.
Internet stał się echo chamber, ale nie ideologicznym. Stylistycznym. Maszynowym.
Najgorsze jest to, że nie da się tego odwrócić.
Firma OpenAI próbowała stworzyć detektor - narzędzie, które rozpozna, czy tekst został napisany przez sztuczną inteligencję. W lipcu ubiegłego roku ogłosili wyniki: skuteczność dwadzieścia sześć procent. Gorzej niż rzut monetą.
Dlaczego? Bo modele nauczyły się pisać jak ludzie. Z błędami. Z emocjami. Z nieregularnościami. Nie da się już wskazać palcem i powiedzieć: „to jest maszynowe”. Bo granica zniknęła.
A próby filtrowania danych przed treningiem kolejnych modeli? Niewykonalne. Żeby wytrenować model pokroju GPT-5, potrzebujesz miliardów stron tekstu. Kto ma je wszystkie ręcznie sprawdzić? Nawet gdyby zatrudnić armię ludzi - koszt byłby astronomiczny. Czas - niewyobrażalny.
Firmy stoją więc przed dylematem: albo trenuj na aktualnych danych i ryzykuj kolaps modelu, albo trenuj tylko na starych, zweryfikowanych danych i twórz sztuczną inteligencję, która nie wie, co wydarzyło się w ostatnich pięciu latach.
Jak na razie wszyscy wybierają opcję pierwszą. Bo konkurencja jest bezlitosna, a klienci chcą świeżości.
Najbardziej fascynujące w tym wszystkim jest pytanie: co właściwie tracimy?
Badacze z MIT pokazali niedawno coś przerażającego. Zapytali różne modele sztucznej inteligencji o „kontrowersyjne teorie w fizyce kwantowej”. Wszystkie wymieniły te same cztery: interpretację kopenhaską, teorię wieloświatów, zmienne ukryte, kolaps funkcji falowej.
Człowiek - fizyk kwantowy - wymienił dwanaście. W tym kilka, o których modele nawet nie wspomniały. Dlaczego? Bo te mniej popularne teorie istnieją w specjalistycznych publikacjach, niszowych forach, akademickich kursach. Nie w Wikipedii. Nie w podręcznikach dla początkujących. Nie w pierwszych wynikach Google.
Sztuczna inteligencja nie uczy się tego, co jest prawdziwe. Uczy się tego, co jest popularne. A gdy zaczyna sama generować treści, tworzy własną popularność. Wzmacnia to, co już dominuje. Wycisza to, co jest marginalne.
Powstaje kanon syntetyczny - zawężony, wypłaszczony, oczyszczony ze skrajności.
Internet przestaje być archiwum ludzkiej różnorodności. Staje się muzeum maszynowego konsensusu.
Siedzę wieczorem i przewijam Twittera. Czytam komentarze pod wpisem o polityce klimatycznej. Które z tych kont to prawdziwi ludzie? Które to boty? Które odpowiedzi zostały napisane przez ChatGPT, a które wyszły spod palców człowieka?
Nie potrafię powiedzieć. Nikt nie potrafi.
Wpisuję w Google „najlepszy laptop 2026″. Dostaję czterdzieści stron recenzji. Które są autentyczne? Które wygenerował algorytm, żeby zarobić na reklamach?
Czytam streszczenie artykułu naukowego o neurobiologii depresji. Czy autor użył sztucznej inteligencji do napisania metodologii? Czy przegląd literatury został wygenerowany automatycznie?
I to jest prawdziwy problem. Nie to, że maszyny piszą. Ale to, że tracimy zdolność odróżnienia prawdy od prawdopodobieństwa. Autentyczności od aproksymacji. Myśli ludzkiej od maszyny imitującej myślenie.
Kolaps modelu to nie tylko techniczny problem inżynierów. To kryzys epistemologiczny nas wszystkich.
Bo jeśli nie możemy zaufać temu, co czytamy - jak budujemy wiedzę?
Jeśli nie możemy zaufać źródłom - jak weryfikujemy fakty?
Jeśli nie możemy zaufać, że rozmawiamy z człowiekiem - jak prowadzimy dialog?
Stworzyliśmy maszynę do produkcji wiarygodności. Potem dałem jej dostęp do własnych produktów. To jak przekazać fałszerzowi klucze do mennicy. Pytanie nie brzmi: czy rozpoznamy fałszywe banknoty. Tylko: co się stanie, gdy wszystkie banknoty będą fałszywe?
Ten tekst jest napisany ręcznie. Bez modeli językowych, bez automatycznych poprawek stylu, bez „wypolerowania” przez sztuczną inteligencję. Ale nawet gdybym powiedział inaczej - nie macie jak tego sprawdzić.
A za rok, gdy ktoś będzie trenował kolejną generację modelu, ten artykuł trafi do zbioru danych. I model nauczy się o kolapsie modelu z tekstu napisanego w świecie już naznaczonym kolapsem.
Pętla się zamyka.
W każdej iteracji tracimy odrobinę informacji. Po stu iteracjach - większość. Po tysiącu? Może zostanie tylko echo. Echo ludzkiej inteligencji, odbijane między maszynami, które zapomniały, co było pierwotnym dźwiękiem.
KONIEC
Google · Twoje źródłaPromptowy wyżej w Twoim Google - jednym kliknięciemDodaj do preferowanych źródeł →Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →Najczęstsze pytania
Co to jest kolaps modelu AI i kiedy został opisany naukowo?
Kolaps modelu to zjawisko, w którym AI ucząca się na tekstach wygenerowanych przez inne AI stopniowo traci różnorodność i szczegółowość odpowiedzi. Opisali je naukowcy z Oksfordu w sierpniu 2023 roku w piśmie 'Nature', porównując proces do przekręconej gry w głuchy telefon.
Ile treści w internecie jest teraz pisanych przez sztuczną inteligencję?
Według analizy portalu Originality z grudnia ubiegłego roku prawie połowa nowych treści na 10 milionach przebadanych stron nosi znamiona pisania maszynowego. W kategoriach takich jak artykuły poradnikowe odsetek ten wynosi 70 procent, a w opisach produktów blisko 90 procent.
Dlaczego Stack Overflow zakazał odpowiedzi pisanych przez AI?
Stack Overflow wprowadził całkowity zakaz w maju zeszłego roku, ponieważ kod zamieszczany przez AI przestał działać poprawnie. Modele odpowiadały na podstawie wcześniejszych błędnych odpowiedzi innych modeli, które zdobyły wiele polubień, bo użytkownicy kopiowali kod bez testowania.
Czy sztuczna inteligencja potrafi pisać jak człowiek i czy da się ją wykryć?
Modele nauczyły się pisać z błędami, emocjami i nieregularnościami, przez co granica między tekstem ludzkim a maszynowym praktycznie zniknęła. Narzędzie OpenAI do wykrywania treści AI osiągnęło skuteczność 26 procent, co oznacza, że jest gorsze od przypadkowego zgadywania.
Podobne tematy na Promptowym
