Wielkość przestała być argumentem. I dobrze

👁 152 przeczytań

Przez ostatnie trzy lata branża sztucznej inteligencji zachowywała się jak nastolatek na siłowni, który mierzy sukces obwodem bicepsa. Więcej parametrów. Więcej kart graficznych. Więcej gigawatów. Każda kolejna premiera przychodziła z liczbą tak ogromną, że przestawała cokolwiek znaczyć - bo różnica między biliardem a trylionem czegokolwiek jest dla ludzkiego mózgu abstrakcją równie użyteczną jak odległość do najbliższej galaktyki. A jednak działało. Rosło, więc było lepsze. Było lepsze, więc rosło. Napędzało się to samo.

I nagle, gdzieś w ciągu ostatniego roku, coś pękło. Zaczęły pojawiać się modele, które są kilkanaście razy mniejsze od swoich poprzedników, a w wielu zadaniach radzą sobie równie dobrze albo lepiej. Model, który jeszcze niedawno wymagał serwerowni, dziś mieści się w laptopie. Za chwilę zmieści się w telefonie i będzie robił rzeczy, za które dwa lata temu płaciliśmy abonament. Wielkość przestała być argumentem. I to jest jedna z najciekawszych rzeczy, jakie stały się w tej dziedzinie od czasu, gdy w ogóle zaczęliśmy rozmawiać z maszynami jak z ludźmi.

Dlaczego wielkie nagle przestało wystarczać

Żeby zrozumieć, co się właściwie dzieje, trzeba na chwilę wrócić do założenia, które przez lata traktowano jak prawo natury. Zakładano, że inteligencja modelu jest w prostej linii funkcją jego rozmiaru i ilości danych, jakimi go nakarmiono. Dolej danych, dołóż parametrów, podłącz więcej prądu - dostaniesz mądrzejszą maszynę. Przez jakiś czas to się sprawdzało spektakularnie. Problem w tym, że każda krzywa, która pnie się stromo w górę, w końcu zaczyna się wypłaszczać.

Okazało się, że dokładanie kolejnych ton parametrów daje coraz mniejszy przyrost jakości przy coraz większym koszcie. To jest klasyczne prawo malejących przychodów, tyle że rozpisane na gigawaty. I w tym samym momencie, gdy najwięksi gracze zderzali się z tą ścianą, badacze zaczęli szukać w drugą stronę: zamiast pytać „jak zbudować większy model”, zaczęli pytać „jak z mniejszego modelu wycisnąć to samo”.

Odpowiedzi okazały się zaskakująco eleganckie. Destylacja, czyli uczenie małego modelu przez naśladowanie dużego. Lepsza selekcja danych zamiast bezmyślnego zasypywania modelu wszystkim, co jest w internecie. Architektury, które aktywują tylko część swojej sieci przy każdym pytaniu, zamiast angażować całą maszynerię do policzenia, ile jest dwa plus dwa. I wreszcie prosta obserwacja, która długo umykała branży zapatrzonej w skalę: model nie musi wiedzieć wszystkiego, żeby dobrze robić jedną rzecz.

To ostatnie jest kluczowe, więc powtórzę inaczej. Przez lata budowaliśmy encyklopedystów - modele, które mają w głowie równocześnie poezję perską, orzecznictwo podatkowe i przepis na risotto. Teraz coraz częściej budujemy specjalistów, którzy jedną wąską rzecz robią świetnie i mieszczą się w kieszeni. A specjalista, który zna się na swoim, prawie zawsze wygra z erudytą, który zna się na wszystkim po trochu.

Kto na tym traci, a udaje, że nie

Tu robi się politycznie. Bo kurczenie się modeli to nie jest neutralny fakt techniczny - to przesunięcie władzy, a każde przesunięcie władzy ma swoich przegranych.

Przez ostatnie lata cała opowieść o AI była wygodna dla bardzo wąskiej grupy podmiotów. Skoro liczy się skala, to liczą się ci, których stać na skalę. A stać na nią kilka firm na świecie, które mają dostęp do gigantycznych zasobów obliczeniowych i kapitału mierzonego w miliardach. To była narracja idealnie skrojona pod istniejący układ sił: jeśli inteligencja jest droga, to inteligencja należy do bogatych, a reszta świata jej sobie wynajmuje na godziny.

Kiedy najlepsze narzędzie wymaga serwerowni, władzę ma ten, kto ma serwerownię. Kiedy najlepsze narzędzie mieści się w laptopie, władza rozlewa się na wszystkich, którzy mają laptopa. To nie jest ulepszenie produktu. To zmiana tego, kto trzyma klucze.

Dlatego kurczenie się modeli jest dla części branży cichym koszmarem, którego głośno się nie przyznaje. Jeśli mały, otwarty model uruchamiany lokalnie potrafi zrobić dziewięćdziesiąt procent tego, za co pobiera się abonament, to cały model biznesowy oparty na wynajmowaniu inteligencji zaczyna trzeszczeć. Nie zawali się z dnia na dzień - najwięksi wciąż będą górować w najtrudniejszych zadaniach i będą to podkreślać przy każdej okazji. Ale marża topnieje najszybciej właśnie tam, gdzie klientowi „wystarczy dobre”, a nie „musi być najlepsze na świecie”. A prawda jest taka, że większości z nas przez większość czasu wystarczy dobre.

Jest jeszcze druga grupa, o której mówi się mniej: dostawcy prądu i sprzętu, którzy zbudowali swoje wyceny na założeniu, że apetyt na moc obliczeniową będzie rósł w nieskończoność. Efektywność jest ich naturalnym wrogiem. Im mniej prądu potrzeba na jednostkę inteligencji, tym mniej sensu ma budowanie kolejnej elektrowni pod centrum danych. Oczywiście zwolennicy nieskończonego wzrostu mają na to gotową ripostę - tak zwany paradoks Jevonsa, zgodnie z którym im coś tańsze, tym więcej tego zużywamy, więc łączne zapotrzebowanie i tak wzrośnie. Może i mają rację. Ale to już zupełnie inna gra niż prosta obietnica „będzie coraz większe”, na której zbudowano ostatnią falę entuzjazmu.

Co to znaczy dla reszty z nas

Zejdźmy z poziomu miliardów na poziom, na którym żyjemy wszyscy. Bo „reszta z nas” to sedno tej całej opowieści, a nie przypis do niej.

Pierwsza konsekwencja jest najbardziej dosłowna: inteligentne narzędzia zejdą z chmury na twoje urządzenie. Model, który działa lokalnie, nie musi wysyłać twoich pytań na cudzy serwer. Nie działa tylko wtedy, gdy masz internet i wykupiony pakiet. Nie zniknie, bo firma zmieniła regulamin albo podniosła cenę. To jest różnica jakościowa, a nie ilościowa. To różnica między korzystaniem z narzędzia a posiadaniem go.

Dla prywatności to potencjalnie największa dobra wiadomość dekady. Przez ostatnie lata cena za inteligencję była płacona nie tylko pieniędzmi, ale i danymi - każde pytanie zadane w chmurze to informacja o tobie, twoim zdrowiu, twoich finansach, twoich lękach zadawanych o trzeciej nad ranem. Model działający offline zmienia ten układ. Twój lęk o trzeciej nad ranem zostaje w twoim telefonie. Nie twierdzę, że to automatycznie nastąpi - firmy będą walczyć o to, żeby trzymać cię w chmurze, bo tam są dane i tam są pieniądze. Ale po raz pierwszy istnieje realna, techniczna alternatywa, a nie tylko pobożne życzenie.

Druga konsekwencja jest gospodarcza i dotyczy każdego, kto prowadzi małą firmę albo robi cokolwiek na własną rękę. Dotąd wejście w świat AI oznaczało albo płacenie abonamentu za każdego pracownika, albo zależność od czyjegoś API, którego cena i dostępność zależą od kaprysu dostawcy. Mały, tani, lokalny model zdejmuje tę barierę. Jednoosobowa księgowość, mały warsztat, lokalna przychodnia - wszyscy oni mogą mieć własne narzędzie skrojone pod siebie, bez oddawania danych klientów w obce ręce i bez comiesięcznego haraczu. To jest ta demokratyzacja, o której branża lubi mówić na konferencjach, tyle że tym razem naprawdę zaczyna się dziać.

Jest oczywiście druga strona medalu i byłbym nieuczciwy, gdybym ją przemilczał. Skoro potężne narzędzie mieści się w każdej kieszeni i nie wymaga niczyjej zgody, to mieści się także w kieszeni oszusta, spamera i człowieka o złych zamiarach. Kontrola, jaką dawała centralizacja - możliwość wyłączenia, monitorowania, ograniczenia - znika razem z chmurą. Wolność narzędzia jest zawsze wolnością obosieczną. Nie ma darmowych obiadów, a już na pewno nie w technologii.

Koniec ery jednego wielkiego mózgu

Najgłębsza zmiana jest jednak koncepcyjna i dopiero zaczynamy ją dostrzegać. Przez ostatnie lata żyliśmy w wyobrażeniu, że AI zmierza ku jednemu wielkiemu mózgowi - ku jakiejś ostatecznej maszynie, gdzieś tam w chmurze, do której wszyscy będziemy się podłączać jak do prądu. Ta wizja była na swój sposób uspokajająca w swojej prostocie. Jeden mózg, jeden ośrodek, jeden punkt, w który można celować regulacją, strachem albo nadzieją.

Rzeczywistość, która się z tego wyłania, jest zupełnie inna i znacznie ciekawsza. Zamiast jednego boga w chmurze dostajemy rój - miliony małych, wyspecjalizowanych modeli działających wszędzie, w telefonach, w samochodach, w lodówkach, w narzędziach, o których jeszcze nie pomyśleliśmy. Inteligencja przestaje być miejscem, do którego się pielgrzymuje, a staje się warstwą, która wsiąka w otoczenie tak, jak wsiąkła elektryczność. Nie chodzimy dziś do „domu z prądem”. Prąd jest po prostu w ścianie. Za jakiś czas inteligencja będzie po prostu w rzeczach.

I tu jest paradoks, który uwielbiam. Im mniejsze stają się modele, tym większy staje się ich wpływ. Bo to, co małe i tanie, rozprzestrzenia się. To, co duże i drogie, pozostaje w rękach nielicznych. Rewolucje przemysłowe nie działy się dlatego, że ktoś zbudował jedną gigantyczną maszynę - działy się dlatego, że maszyna stała się na tyle tania i mała, że każdy mógł ją mieć. Prawdziwa zmiana nie przychodzi z góry, od największych. Przychodzi z dołu, gdy coś staje się dostępne dla wszystkich.

Dlatego nie fascynuje mnie już wyścig o to, kto ma największy model. Ten wyścig wygrywają ci sami, co zwykle, i jego wynik zmieni niewiele w moim życiu. Fascynuje mnie moment, w którym coś przestaje być wielkie, a zaczyna być wszędzie. To wtedy technologia naprawdę wchodzi w krwiobieg cywilizacji. Elektryczność, silnik, komputer, internet - każda z tych rzeczy zmieniła świat nie w chwili, gdy była największa, lecz w chwili, gdy stała się na tyle mała i tania, że przestaliśmy ją zauważać.

Modele się kurczą, a stają coraz lepsze. Brzmi jak niuans dla inżynierów. W rzeczywistości jest to zdanie o tym, komu przez najbliższą dekadę będzie służyć najpotężniejsza technologia naszych czasów. I po raz pierwszy od dawna odpowiedź brzmi: być może nam. Nie dlatego, że ktoś nam ją łaskawie odda - tego nikt nie robi dobrowolnie. Dlatego, że stała się na tyle mała, że nie da się jej już utrzymać w jednej ręce.

// czytaj dalejCisza po hype: co zostanie, gdy moda na AI minieMagazynCzyje są te słowa: nowy front wojny o własność w epoce AIMagazynWyścig AI przestał być o wielkości modeluNewsy