Model collapse - dlaczego AI traci rozum bez człowieka
Sztuczna inteligencja trenowana na własnych wytworach traci kontakt z rzeczywistością. Naukowcy nazwali to zjawisko „model collapse”. Okazuje się, że jedynym ratunkiem dla AI jest człowiek.
pl.
👁 141 przeczytań
- Model collapse to proces, w którym AI trenowana na własnych wytworach traci kontakt z rzeczywistością i zaczyna ją błędnie postrzegać ("mis-perceive reality").
- Badacze z Oxfordu i Cambridge odkryli, że kolejne pokolenia modeli tracą najpierw "ogony rozkładu" - najrzadsze dane, które są źródłem nowości i oryginalności.
- Jedynym ratunkiem przed model collapse jest stały dopływ autentycznych ludzkich danych, bez których systemy AI degradują się wykładniczo w kierunku przeciętności.
Wyobraź sobie, że sztuczna inteligencja - zamiast stawać się coraz mądrzejsza - zaczyna tracić kontakt z rzeczywistością. Brzmi jak scenariusz filmu science fiction, ale to realne zagrożenie, które naukowcy nazwali „model collapse”. Najnowsze badania pokazują, że im więcej AI uczy się na własnych wytworach, tym bardziej oddala się od prawdy - a jedynym ratunkiem dla niej może być… człowiek.
Model collapse - cicha degradacja systemu
W artykule opublikowanym przez badaczy z Oxfordu i Cambridge padają dwa słowa, które powinny zatrzymać każdego entuzjastę AI: „mis-perceive reality”. To nie jest zwykła halucynacja modelu, czyli sytuacja, w której system zmyśla fakt lub fałszywe cytowanie. Halucynacje są zazwyczaj wyizolowane i możliwe do poprawienia. Model collapse to coś znacznie głębszego - system trenowany wielokrotnie na danych wygenerowanych przez AI traci kontakt z oryginalną informacją. Mówi płynnie, brzmi przekonująco, ale jest coraz bardziej oderwany od rzeczywistości.
Giną „ogony rozkładu” - najrzadsze i najcenniejsze dane
Badacze odkryli, że w każdym kolejnym pokoleniu modeli trenowanych na syntetycznych danych najpierw znikają najrzadsze, najbardziej niezwykłe elementy oryginalnego zbioru. Te elementy nazwano „ogonami rozkładu” (tails of the distribution). To właśnie one są źródłem nowości i oryginalności. „Newton był ogonem. Einstein był ogonem. Każdy wielki intelektualny przełom zaczyna się jako coś odstającego, coś tak dalekiego od średniej, że żaden proces optymalizacji nie wygenerowałby go przypadkiem” - pisze John Nosta w Psychology Today. Kiedy te ogony znikają, model nie tylko traci rzadkie informacje - traci mechanizm tworzenia przyszłych informacji. Zostaje tylko to, co przeciętne i przewidywalne.
Dlaczego człowiek jest niezbędny dla AI
Paradoksalnie, to odkrycie odwraca dominującą narrację o relacji człowiek-maszyna. Dotychczas debata koncentrowała się na tym, czy ludzie przetrwają konkurencję z AI. Tymczasem okazuje się, że to AI nie przetrwa bez ludzi. Autentyczna, ludzka myśl - ta „dziwna, oryginalna i nieoczekiwana” - staje się techniczną koniecznością. Jak podkreśla Nosta, „ludzkie dane nie są tylko wartościowe kulturowo - są technicznie niezbędne”. Każde pokolenie modelu trenowanego na wyjściu poprzedniego dziedziczy nieco węższą wersję rzeczywistości. Zmiana jest na początku niewidoczna, ale potem narasta wykładniczo - nie w kierunku obfitości, lecz w kierunku upadku.
Google · Twoje źródłaPromptowy wyżej w Twoim Google - jednym kliknięciemDodaj do preferowanych źródeł →Co to oznacza dla przyszłości AI?
Wniosek z tych badań jest niepokojący, ale też dający nadzieję. Jeśli AI ma uniknąć model collapse, musi mieć stały dopływ świeżych, ludzkich danych. To stawia pod znakiem zapytania powszechną praktykę trenowania modeli na syntetycznych danych - zwłaszcza w dobie masowego scrapowania otwartych repozytoriów naukowych, co opisuje raport w Nature. Zamiast zastępować człowieka, AI potrzebuje go bardziej niż kiedykolwiek. To nie rewolucja, tylko fundamentalna zmiana perspektywy: najcenniejszym zasobem dla przyszłych systemów sztucznej inteligencji nie będą już ani moc obliczeniowa, ani algorytmy, ale oryginalna, ludzka twórczość. I to właśnie ona - a nie technologia - może okazać się największą siłą napędową kolejnych przełomów.
Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →Najczęstsze pytania
Czym jest model collapse w sztucznej inteligencji?
Model collapse to zjawisko, w którym AI trenowana wielokrotnie na danych wygenerowanych przez inne modele AI stopniowo traci kontakt z oryginalną informacją. W odróżnieniu od zwykłych halucynacji, które są wyizolowane i możliwe do poprawienia, model collapse to głęboka degradacja całego systemu - model mówi płynnie i brzmi przekonująco, ale jest coraz bardziej oderwany od rzeczywistości.
Dlaczego AI potrzebuje ludzkich danych, żeby działać poprawnie?
Ludzkie dane są technicznie niezbędne, ponieważ zawierają "ogony rozkładu" - najrzadsze i najbardziej oryginalne elementy, które AI traci w kolejnych cyklach trenowania na syntetycznych danych. Bez tego dopływu każde nowe pokolenie modelu dziedziczy nieco węższą wersję rzeczywistości, a zmiana narasta wykładniczo.
Co to są ogony rozkładu i dlaczego ich znikanie jest groźne?
Ogony rozkładu to najrzadsze i najbardziej niezwykłe elementy oryginalnego zbioru danych - John Nosta w Psychology Today podaje jako przykład Newtona i Einsteina. Kiedy znikają, model nie tylko traci rzadkie informacje, ale też mechanizm tworzenia przyszłych przełomów - zostaje tylko to, co przeciętne i przewidywalne.
Czy trenowanie AI na syntetycznych danych jest bezpieczne?
Badania stawia pod znakiem zapytania powszechną praktykę trenowania modeli na syntetycznych danych, w tym masowe scrapowanie otwartych repozytoriów naukowych opisane w raporcie w Nature. Im więcej pokoleń modeli uczy się na własnych wytworach, tym szybciej system oddala się od prawdy - degradacja jest na początku niewidoczna, lecz potem narasta wykładniczo.
ChatGPT ocenił studenta gorzej niż człowiek. Dlaczego?Nauka
Mythos Preview - model, którego nie dostaniesz. Dlaczego Anthropic zatrzymał swoje najmocniejsze AI w klatceClaude
Czy model AI można odinstalować jak aplikację pogodową? UE bada GoogleNaukaPodobne tematy na Promptowym
