NVIDIA i twórca AlphaGo idą w uczenie przez doświadczenie. AI ma przestać tylko powtarzać internet
NVIDIA i Ineffable Intelligence pracują nad infrastrukturą do uczenia przez doświadczenie, które może wynieść AI poza samo odtwarzanie ludzkich danych.
👁 134 przeczytań
- NVIDIA nawiązała współpracę z Ineffable Intelligence, londyńskim laboratorium założonym przez Davida Silvera, twórcę AlphaGo, by wspólnie budować infrastrukturę do uczenia przez doświadczenie.
- Obie firmy zaczną od platformy Grace Blackwell i planują eksplorację nadchodzącej platformy Vera Rubin, bo reinforcement learning wymaga innego sprzętu niż trening na statycznych danych.
- Uczenie przez doświadczenie może pozwolić AI wyjść poza ograniczenia danych z internetu, które są skończone i coraz bardziej skażone treściami generowanymi przez modele.
Duża część dzisiejszej sztucznej inteligencji działa tak, jakby bardzo uważnie przeczytała internet, dokumenty, książki, kod i miliony przykładów ludzkiej pracy. To dało ogromny skok jakości, ale ma też oczywiste ograniczenie. Modele uczone na ludzkich danych są świetne w odtwarzaniu, łączeniu i uogólnianiu tego, co już zostało zapisane. Trudniejsze pytanie brzmi: jak zbudować systemy, które odkrywają rzeczy naprawdę nowe? Właśnie w tym miejscu zaczyna się znaczenie współpracy NVIDIA i Ineffable Intelligence.
Ineffable Intelligence to londyńskie laboratorium założone przez Davida Silvera, jednego z najważniejszych architektów sukcesu AlphaGo i pioniera uczenia ze wzmocnieniem. To podejście polega na tym, że system uczy się przez działanie, obserwację wyniku, ocenę i aktualizację strategii. Nie tylko czyta przykłady. Próbuje. Popełnia błędy. Dostaje sygnał zwrotny. Zmienia zachowanie. W grach i symulacjach ta metoda pokazała niezwykłą siłę. Teraz pytanie brzmi, czy można ją przenieść na znacznie bardziej ogólne systemy AI.
NVIDIA i Ineffable chcą współprojektować infrastrukturę do dużoskalowego reinforcement learningu. To nie jest zwykły projekt badawczy o nowym modelu. Chodzi o całą rurę obliczeniową: sprzęt, oprogramowanie, przepływ danych, pamięć, połączenia i serwowanie modeli w pętli uczenia. W uczeniu przez doświadczenie dane nie są statycznym zbiorem, który raz przygotowano i podano do trenowania. Dane powstają w trakcie działania systemu. Agent wykonuje krok, obserwuje środowisko, dostaje ocenę, generuje kolejne przykłady i stale zmienia własną strategię.
To stawia inne wymagania niż klasyczne pretrenowanie. Przy pretrenowaniu model przechodzi przez ogromne zbiory danych tekstowych lub multimodalnych. Przy reinforcement learningu system może generować dane w czasie rzeczywistym w symulacjach, środowiskach programistycznych, zadaniach naukowych albo problemach optymalizacyjnych. Potrzebuje szybkiej pętli: akcja, obserwacja, nagroda, aktualizacja. W takiej architekturze liczy się nie tylko liczba chipów, ale też przepustowość pamięci, opóźnienia, interconnect i zdolność do karmienia systemu świeżymi doświadczeniami.
Dlatego NVIDIA zaczyna od platformy Grace Blackwell i zapowiada eksplorację nadchodzącej platformy Vera Rubin. To nie jest przypadkowe. Jeśli przyszłe modele mają uczyć się w bogatych środowiskach, sprzęt musi obsługiwać zupełnie inne obciążenia niż trening na statycznym korpusie tekstu. Możliwe, że właśnie tu powstaną nowe wąskie gardła: nie w samej mocy obliczeniowej, ale w zdolności do synchronizacji wielu agentów, symulacji i aktualizacji.
Najciekawsze jest sformułowanie o systemach, które uczą się z doświadczenia, a nie tylko z ludzkich danych. Dzisiejsze modele potrafią odpowiadać na pytania, pisać kod i analizować obrazy, bo nauczyły się z przykładów. Ale jeśli AI ma pomagać w odkrywaniu nowych leków, nowych algorytmów, nowych strategii energetycznych albo nieznanych rozwiązań naukowych, samo powtarzanie ludzkiej wiedzy może nie wystarczyć. Potrzebne są systemy, które testują hipotezy i uczą się z wyniku.
To oczywiście nie oznacza natychmiastowego przełomu. Reinforcement learning jest trudny, kosztowny i bywa niestabilny. W prostych środowiskach można zdefiniować nagrodę: wygraj partię, zdobądź punkt, zminimalizuj błąd. W realnym świecie nagrody są wieloznaczne. Co dokładnie znaczy „dobry projekt naukowy”? Jak ocenić odkrycie, które dopiero wymaga eksperymentu? Jak uniknąć systemu, który nauczy się oszukiwać metrykę zamiast rozwiązywać problem? To są pytania, których nie rozwiąże sam chip.
Mimo to kierunek jest ważny. Branża AI zaczyna rozumieć, że trenowanie na coraz większych zbiorach danych z internetu nie może być jedyną ścieżką. Dane ludzkie są ograniczone, powtarzalne i coraz bardziej skażone treściami generowanymi przez modele. Uczenie przez doświadczenie może stać się sposobem na wyjście poza ten sufit. Zamiast pytać, ile jeszcze tekstu można przetworzyć, firmy zaczną pytać, jakie środowiska można zbudować, by AI mogła zdobywać własne doświadczenie.
Współpraca NVIDIA i Ineffable jest więc jednym z tych newsów, które nie muszą od razu dawać produktu dla użytkownika, ale pokazują zmianę epoki. Pierwsza fala AI uczyła się na tym, co napisali ludzie. Następna może uczyć się na tym, co sama sprawdzi, przetestuje i odkryje. A jeżeli to się uda, modele przestaną być tylko bardzo sprawnymi czytelnikami internetu. Zaczną być eksperymentatorami.
W dłuższej perspektywie takie systemy mogą zmienić także sposób pracy naukowej i inżynierskiej. Zamiast prosić model o odpowiedź na podstawie istniejących publikacji, badacz mógłby zlecić agentowi projektowanie eksperymentów w symulacji, ocenianie wyników i proponowanie kolejnych prób. Oczywiście fizyczny świat nadal wymaga laboratoriów, pomiarów i ludzi, którzy sprawdzą rezultat, ale cyfrowa pętla eksperymentowania może skrócić drogę do dobrych hipotez. To jest różnica między AI jako encyklopedią a AI jako partnerem w poszukiwaniu rozwiązań. Jeśli uczenie przez doświadczenie zacznie działać w bogatszych środowiskach, największym ograniczeniem może stać się nie wiedza zapisana przez ludzi, lecz jakość symulacji, w których modele będą zdobywać nowe doświadczenie.
Dlatego warto patrzeć na ten temat nie jak na pojedynczą premierę, lecz jak na zmianę zasad gry. Sztuczna inteligencja przestaje być dodatkiem do aplikacji, a staje się warstwą decyzji, kosztów, odpowiedzialności i infrastruktury. Każdy taki ruch pokazuje, kto będzie kontrolował dane, obliczenia, procedury i zaufanie w kolejnych latach.
Kluczowe będą środowiska treningowe. Jeżeli agent ma uczyć się przez próby i błędy, nie zawsze może ćwiczyć na prawdziwych systemach. Potrzebne są symulacje, cyfrowe laboratoria, testowe aplikacje, zadania kontrolne i bezpieczne przestrzenie, w których błąd nie niszczy danych ani nie kosztuje pieniędzy. To sprawia, że infrastruktura reinforcement learningu obejmuje nie tylko chipy, ale też całe sztuczne światy do uczenia zachowań.
W takim scenariuszu konkurencja przesunie się z pytania „kto ma większy model?” na pytanie „kto potrafi wygenerować lepsze doświadczenia treningowe?”. Najlepszy agent może nie być tym, który przeczytał najwięcej internetu, lecz tym, który przeszedł najwięcej sensownych prób w dobrze zaprojektowanym środowisku. To inny rodzaj skali i być może jedna z najważniejszych dróg poza prostym zwiększaniem liczby parametrów.
Google · Twoje źródłaPromptowy wyżej w Twoim Google - jednym kliknięciemDodaj do preferowanych źródeł →Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →Najczęstsze pytania
Czym zajmuje się Ineffable Intelligence i kto je założył?
Ineffable Intelligence to londyńskie laboratorium założone przez Davida Silvera, jednego z głównych architektów sukcesu AlphaGo. Silver jest pionierem uczenia ze wzmocnieniem, czyli metody, w której system uczy się przez działanie, obserwację wyniku i aktualizację strategii.
Na czym polega różnica między uczeniem przez doświadczenie a standardowym trenowaniem modeli AI?
Przy standardowym pretrenowaniu model przechodzi przez gotowe, statyczne zbiory danych tekstowych lub multimodalnych. W uczeniu przez doświadczenie dane powstają w trakcie działania systemu - agent wykonuje krok, dostaje ocenę i na bieżąco zmienia własną strategię.
Jakie platformy sprzętowe NVIDIA planuje wykorzystać w tym projekcie?
NVIDIA zapowiada start na platformie Grace Blackwell oraz eksplorację nadchodzącej platformy Vera Rubin. Wybór tych platform wynika z innych wymagań reinforcement learningu - liczy się tu przepustowość pamięci, opóźnienia i synchronizacja wielu agentów, nie tylko surowa moc obliczeniowa.
Dlaczego reinforcement learning jest trudny do zastosowania poza grami i symulacjami?
W prostych środowiskach można łatwo zdefiniować nagrodę, np. wygraj partię albo zminimalizuj błąd, ale w realnym świecie nagrody są wieloznaczne. Trudno ocenić np. co dokładnie znaczy dobry projekt naukowy, a system może nauczyć się oszukiwać metrykę zamiast rozwiązywać rzeczywisty problem.
Podobne tematy na Promptowym
