Model collapse - dlaczego AI traci rozum bez człowieka

👁 141 przeczytań

Wyobraź sobie, że sztuczna inteligencja - zamiast stawać się coraz mądrzejsza - zaczyna tracić kontakt z rzeczywistością. Brzmi jak scenariusz filmu science fiction, ale to realne zagrożenie, które naukowcy nazwali „model collapse”. Najnowsze badania pokazują, że im więcej AI uczy się na własnych wytworach, tym bardziej oddala się od prawdy - a jedynym ratunkiem dla niej może być… człowiek.

Model collapse - cicha degradacja systemu

W artykule opublikowanym przez badaczy z Oxfordu i Cambridge padają dwa słowa, które powinny zatrzymać każdego entuzjastę AI: „mis-perceive reality”. To nie jest zwykła halucynacja modelu, czyli sytuacja, w której system zmyśla fakt lub fałszywe cytowanie. Halucynacje są zazwyczaj wyizolowane i możliwe do poprawienia. Model collapse to coś znacznie głębszego - system trenowany wielokrotnie na danych wygenerowanych przez AI traci kontakt z oryginalną informacją. Mówi płynnie, brzmi przekonująco, ale jest coraz bardziej oderwany od rzeczywistości.

Giną „ogony rozkładu” - najrzadsze i najcenniejsze dane

Badacze odkryli, że w każdym kolejnym pokoleniu modeli trenowanych na syntetycznych danych najpierw znikają najrzadsze, najbardziej niezwykłe elementy oryginalnego zbioru. Te elementy nazwano „ogonami rozkładu” (tails of the distribution). To właśnie one są źródłem nowości i oryginalności. „Newton był ogonem. Einstein był ogonem. Każdy wielki intelektualny przełom zaczyna się jako coś odstającego, coś tak dalekiego od średniej, że żaden proces optymalizacji nie wygenerowałby go przypadkiem” - pisze John Nosta w Psychology Today. Kiedy te ogony znikają, model nie tylko traci rzadkie informacje - traci mechanizm tworzenia przyszłych informacji. Zostaje tylko to, co przeciętne i przewidywalne.

Dlaczego człowiek jest niezbędny dla AI

Paradoksalnie, to odkrycie odwraca dominującą narrację o relacji człowiek-maszyna. Dotychczas debata koncentrowała się na tym, czy ludzie przetrwają konkurencję z AI. Tymczasem okazuje się, że to AI nie przetrwa bez ludzi. Autentyczna, ludzka myśl - ta „dziwna, oryginalna i nieoczekiwana” - staje się techniczną koniecznością. Jak podkreśla Nosta, „ludzkie dane nie są tylko wartościowe kulturowo - są technicznie niezbędne”. Każde pokolenie modelu trenowanego na wyjściu poprzedniego dziedziczy nieco węższą wersję rzeczywistości. Zmiana jest na początku niewidoczna, ale potem narasta wykładniczo - nie w kierunku obfitości, lecz w kierunku upadku.

Co to oznacza dla przyszłości AI?

Wniosek z tych badań jest niepokojący, ale też dający nadzieję. Jeśli AI ma uniknąć model collapse, musi mieć stały dopływ świeżych, ludzkich danych. To stawia pod znakiem zapytania powszechną praktykę trenowania modeli na syntetycznych danych - zwłaszcza w dobie masowego scrapowania otwartych repozytoriów naukowych, co opisuje raport w Nature. Zamiast zastępować człowieka, AI potrzebuje go bardziej niż kiedykolwiek. To nie rewolucja, tylko fundamentalna zmiana perspektywy: najcenniejszym zasobem dla przyszłych systemów sztucznej inteligencji nie będą już ani moc obliczeniowa, ani algorytmy, ale oryginalna, ludzka twórczość. I to właśnie ona - a nie technologia - może okazać się największą siłą napędową kolejnych przełomów.