Chiński start-up na chwilę pokonał Nvidię w rankingu robotyki. Potem go usunięto

👁 140 przeczytań

Wyobraź sobie, że przez kilka dni twoja firma jest oficjalnie lepsza od Nvidii. Właśnie to - przynajmniej na papierze - przydarzyło się założonemu w 2024 roku chińskiemu start-upowi Spirit AI z Hangzhou. I właśnie dlatego ta historia jest tak pouczająca.

Złoto na jeden tydzień

W czerwcu 2026 roku Spirit AI ogłosiło, że jego model Spirit v1.6 zajął pierwsze miejsce na RoboArena - benchmarku uznawanym za jedno z kluczowych narzędzi pomiaru jakości fizycznej AI. Firma nie kryła entuzjazmu, nazywając ranking wprost „»olimpiadą« ucieleśnionej inteligencji w Ameryce Północnej”. Był w tym pewien spryt PR-owy: nie „olimpiadą robotyki”, nie „globalnym mistrzostwem AI”, ale olimpiadą Ameryki Północnej - co przy chińskim zwycięstwie smakuje podwójnie.

RoboArena nie jest przypadkowym projektem akademickim. Benchmark powstał przy współpracy Nvidii ze Stanford University i Uniwersytetem Kalifornijskim w Berkeley i ocenia coś konkretnego: jak skutecznie generalistyczne polityki robotyczne - czyli rdzeń oprogramowania sterującego ruchem i wykonaniem zadań - przekładają cyfrowe instrukcje na realne działania w fizycznym świecie. To właśnie ten problem jest dziś jednym z najtrudniejszych w całej branży AI.

Benchmark hacking - nowe rzemiosło

Trwało to kilka dni. Organizatorzy RoboArena przeprowadzili przegląd metodologii i usunęli Spirit v1.6 z oficjalnej listy - razem z kilkoma innymi modelami, w tym modelem chińskiego start-upu X Square Robot, który zajmował czwarte miejsce. Pranav Atreya, doktorant UC Berkeley i jeden z głównych autorów projektu, napisał na platformie X, że zespół „retroaktywnie usunął oceny organizacji, które moim zdaniemzych ustaleń angażowały się w manipulację benchmarkiem”. Konkretnych firm nie wymienił.

„Retroaktywnie usunęliśmy oceny organizacji, które moim zdaniemzych ustaleń angażowały się w manipulację benchmarkiem.”

Pranav Atreya, doktorant UC Berkeley, lead author projektu RoboArena

Czym dokładnie jest „benchmark hacking”? Niekoniecznie fałszowaniem surowych danych - choć i to się zdarza. Częściej to optymalizacja modelu pod kątem konkretnego zestawu testowego zamiast rzeczywistych zdolności. W świecie modeli językowych zjawisko jest znane od lat; teraz przenosi się na robotykę, gdzie stawki - dosłownie fizyczne - są wyższe.

Wyścig bez arbitrów

Historia Spirit AI to symptom szerszego problemu. Benchmarki w AI pełnią dziś rolę, do której nie zostały zaprojektowane: zastępują nam rzeczywisty pomiar zdolności systemu, bo rzeczywisty pomiar jest zbyt trudny, zbyt drogi i zbyt wolny. W przypadku fizycznej AI - robotów, które mają działać w nieprzewidywalnym świecie - problem jest jeszcze dotkliwszy. Jak obiektywnie zmierzyć, czy robot naprawdę „rozumie” zadanie, czy tylko nauczył się zdawać egzamin?

Rywalizacja USA-Chiny tylko to napięcie zwiększa. Pierwsze miejsca na globalnych rankingach mają wartość nie tylko techniczną - to sygnał dla inwestorów, klientów, mediów i polityków. Spirit AI zostało założone w 2024 roku, ma więc za sobą może dwa lata istnienia, i zdążyło już trafić na szczyt - i spaść - jednego z ważniejszych benchmarków w branży. W tym tempie i przy takiej presji pokusa skrótów jest strukturalna, nie jednostkowa.

Co dalej z RoboArena?

Organizatorzy benchmarku zareagowali przeglądem metodologii, co samo w sobie jest uczciwe. Ale każdy przegląd metodologii rodzi kolejne pytanie: skoro poprzednia metodologia dopuszczała takie wyniki, ile poprzednich zwycięstw należałoby zrewidować? I kto następnym razem będzie pilnował pilnujących?

Nie piszę tego, żeby bronić Nvidii - korporacja z kapitalizacją przekraczającą bilion dolarów poradzi sobie bez mojego wsparcia. Piszę to, bo sprawa Spirit AI pokazuje coś, o czym branża woli nie mówić wprost: problem Goodharta - gdy miara staje się celem, przestaje być dobrą miarą - w robotycznej AI jest dziś zupełnie nierozwiązany.

Złoto olimpijskie, które trwało tydzień, jest najkrótszym możliwym dowodem na tę tezę.

// czytaj dalejJak uczyć się z AI na studiach - metoda na startTutorialeChiński start-up chce zbudować chipy 5 nm bez EUV do 2029 rokuNewsySzwajcarski start-up uczy humanoidy biurowej roboty - bez operatora w tleNewsy