NVIDIA i twórca AlphaGo idą w uczenie przez doświadczenie. AI ma przestać tylko powtarzać internet

👁 124 przeczytań

Duża część dzisiejszej sztucznej inteligencji działa tak, jakby bardzo uważnie przeczytała internet, dokumenty, książki, kod i miliony przykładów ludzkiej pracy. To dało ogromny skok jakości, ale ma też oczywiste ograniczenie. Modele uczone na ludzkich danych są świetne w odtwarzaniu, łączeniu i uogólnianiu tego, co już zostało zapisane. Trudniejsze pytanie brzmi: jak zbudować systemy, które odkrywają rzeczy naprawdę nowe? Właśnie w tym miejscu zaczyna się znaczenie współpracy NVIDIA i Ineffable Intelligence.

Ineffable Intelligence to londyńskie laboratorium założone przez Davida Silvera, jednego z najważniejszych architektów sukcesu AlphaGo i pioniera uczenia ze wzmocnieniem. To podejście polega na tym, że system uczy się przez działanie, obserwację wyniku, ocenę i aktualizację strategii. Nie tylko czyta przykłady. Próbuje. Popełnia błędy. Dostaje sygnał zwrotny. Zmienia zachowanie. W grach i symulacjach ta metoda pokazała niezwykłą siłę. Teraz pytanie brzmi, czy można ją przenieść na znacznie bardziej ogólne systemy AI.

NVIDIA i Ineffable chcą współprojektować infrastrukturę do dużoskalowego reinforcement learningu. To nie jest zwykły projekt badawczy o nowym modelu. Chodzi o całą rurę obliczeniową: sprzęt, oprogramowanie, przepływ danych, pamięć, połączenia i serwowanie modeli w pętli uczenia. W uczeniu przez doświadczenie dane nie są statycznym zbiorem, który raz przygotowano i podano do trenowania. Dane powstają w trakcie działania systemu. Agent wykonuje krok, obserwuje środowisko, dostaje ocenę, generuje kolejne przykłady i stale zmienia własną strategię.

To stawia inne wymagania niż klasyczne pretrenowanie. Przy pretrenowaniu model przechodzi przez ogromne zbiory danych tekstowych lub multimodalnych. Przy reinforcement learningu system może generować dane w czasie rzeczywistym w symulacjach, środowiskach programistycznych, zadaniach naukowych albo problemach optymalizacyjnych. Potrzebuje szybkiej pętli: akcja, obserwacja, nagroda, aktualizacja. W takiej architekturze liczy się nie tylko liczba chipów, ale też przepustowość pamięci, opóźnienia, interconnect i zdolność do karmienia systemu świeżymi doświadczeniami.

Dlatego NVIDIA zaczyna od platformy Grace Blackwell i zapowiada eksplorację nadchodzącej platformy Vera Rubin. To nie jest przypadkowe. Jeśli przyszłe modele mają uczyć się w bogatych środowiskach, sprzęt musi obsługiwać zupełnie inne obciążenia niż trening na statycznym korpusie tekstu. Możliwe, że właśnie tu powstaną nowe wąskie gardła: nie w samej mocy obliczeniowej, ale w zdolności do synchronizacji wielu agentów, symulacji i aktualizacji.

Najciekawsze jest sformułowanie o systemach, które uczą się z doświadczenia, a nie tylko z ludzkich danych. Dzisiejsze modele potrafią odpowiadać na pytania, pisać kod i analizować obrazy, bo nauczyły się z przykładów. Ale jeśli AI ma pomagać w odkrywaniu nowych leków, nowych algorytmów, nowych strategii energetycznych albo nieznanych rozwiązań naukowych, samo powtarzanie ludzkiej wiedzy może nie wystarczyć. Potrzebne są systemy, które testują hipotezy i uczą się z wyniku.

To oczywiście nie oznacza natychmiastowego przełomu. Reinforcement learning jest trudny, kosztowny i bywa niestabilny. W prostych środowiskach można zdefiniować nagrodę: wygraj partię, zdobądź punkt, zminimalizuj błąd. W realnym świecie nagrody są wieloznaczne. Co dokładnie znaczy „dobry projekt naukowy”? Jak ocenić odkrycie, które dopiero wymaga eksperymentu? Jak uniknąć systemu, który nauczy się oszukiwać metrykę zamiast rozwiązywać problem? To są pytania, których nie rozwiąże sam chip.

Mimo to kierunek jest ważny. Branża AI zaczyna rozumieć, że trenowanie na coraz większych zbiorach danych z internetu nie może być jedyną ścieżką. Dane ludzkie są ograniczone, powtarzalne i coraz bardziej skażone treściami generowanymi przez modele. Uczenie przez doświadczenie może stać się sposobem na wyjście poza ten sufit. Zamiast pytać, ile jeszcze tekstu można przetworzyć, firmy zaczną pytać, jakie środowiska można zbudować, by AI mogła zdobywać własne doświadczenie.

Współpraca NVIDIA i Ineffable jest więc jednym z tych newsów, które nie muszą od razu dawać produktu dla użytkownika, ale pokazują zmianę epoki. Pierwsza fala AI uczyła się na tym, co napisali ludzie. Następna może uczyć się na tym, co sama sprawdzi, przetestuje i odkryje. A jeżeli to się uda, modele przestaną być tylko bardzo sprawnymi czytelnikami internetu. Zaczną być eksperymentatorami.

W dłuższej perspektywie takie systemy mogą zmienić także sposób pracy naukowej i inżynierskiej. Zamiast prosić model o odpowiedź na podstawie istniejących publikacji, badacz mógłby zlecić agentowi projektowanie eksperymentów w symulacji, ocenianie wyników i proponowanie kolejnych prób. Oczywiście fizyczny świat nadal wymaga laboratoriów, pomiarów i ludzi, którzy sprawdzą rezultat, ale cyfrowa pętla eksperymentowania może skrócić drogę do dobrych hipotez. To jest różnica między AI jako encyklopedią a AI jako partnerem w poszukiwaniu rozwiązań. Jeśli uczenie przez doświadczenie zacznie działać w bogatszych środowiskach, największym ograniczeniem może stać się nie wiedza zapisana przez ludzi, lecz jakość symulacji, w których modele będą zdobywać nowe doświadczenie.

Dlatego warto patrzeć na ten temat nie jak na pojedynczą premierę, lecz jak na zmianę zasad gry. Sztuczna inteligencja przestaje być dodatkiem do aplikacji, a staje się warstwą decyzji, kosztów, odpowiedzialności i infrastruktury. Każdy taki ruch pokazuje, kto będzie kontrolował dane, obliczenia, procedury i zaufanie w kolejnych latach.

Kluczowe będą środowiska treningowe. Jeżeli agent ma uczyć się przez próby i błędy, nie zawsze może ćwiczyć na prawdziwych systemach. Potrzebne są symulacje, cyfrowe laboratoria, testowe aplikacje, zadania kontrolne i bezpieczne przestrzenie, w których błąd nie niszczy danych ani nie kosztuje pieniędzy. To sprawia, że infrastruktura reinforcement learningu obejmuje nie tylko chipy, ale też całe sztuczne światy do uczenia zachowań.

W takim scenariuszu konkurencja przesunie się z pytania „kto ma większy model?” na pytanie „kto potrafi wygenerować lepsze doświadczenia treningowe?”. Najlepszy agent może nie być tym, który przeczytał najwięcej internetu, lecz tym, który przeszedł najwięcej sensownych prób w dobrze zaprojektowanym środowisku. To inny rodzaj skali i być może jedna z najważniejszych dróg poza prostym zwiększaniem liczby parametrów.