Dziesięć tysięcy agentów, 88 godzin, 130 miliardów tokenów. Ile kosztował dowód wart miliona dolarów

👁 124 przeczytań

Najciekawsza część ogłoszenia OpenAI o problemie Naviera-Stokesa nie dotyczy matematyki, tylko rachunku. Firma po raz pierwszy pokazała, ile realnie kosztuje rzucenie pełnej mocy obliczeniowej na jedno pytanie. Poniżej wszystkie liczby, które podano, plus moje przeliczenie, bo część z nich da się zestawić z publicznym cennikiem.

Przebieg operacji w liczbach

Cztery doby pracy dziesięciu tysięcy równoległych agentów. To jest skala, przy której pytanie o koszt przestaje być ciekawostką.

Ile to kosztowało

Oficjalnie firma mówi o „milionach dolarów” i przy tej formule pozostaje. W relacjach pojawiła się też kwota około 15 milionów dolarów, przypisywana szacunkowi z konferencji prasowej, ale nie potwierdzają jej duże redakcje, które trzymają się ogólnikowego określenia. Traktuję ją więc jako niepotwierdzoną.

Da się jednak sprawdzić, czy „miliony” w ogóle się bronią, i tu zaczyna się rzecz, której nie widziałem nigdzie indziej.

Moje przeliczenie po cenniku publicznym

GPT-6 Astra kosztuje w interfejsie programistycznym 50 dolarów za milion tokenów wyjściowych. Przy 130 miliardach tokenów wyjściowych daje to:

130 000 milionów tokenów × 50 dolarów = 6,5 miliona dolarów za samo wyjście, tylko dla Naviera-Stokesa.

Doliczając wejście, które przy pracy agentowej bywa wielokrotnie większe od wyjścia, bo każdy agent czyta cudze wiadomości, oraz całą resztę próby na poziomie 300 miliardów tokenów, kwota rzędu kilkunastu milionów dolarów przestaje wyglądać na przesadzoną. Nieoficjalne 15 milionów mieści się w tym rachunku.

Zastrzeżenie, które musi tu paść: liczyłem po cenniku Astry, a operacja szła na modelu wewnętrznym, którego cennika nie ma. Koszt własny OpenAI jest niższy od ceny detalicznej, bo firma nie płaci sobie marży. Ten rachunek pokazuje więc rząd wielkości, a nie fakturę. Ceny publiczne wszystkich planów zebrałem w cenniku ChatGPT.

Co to znaczy dla ceny odkrycia

Nagroda Instytutu Claya wynosi milion dolarów. Sama operacja kosztowała kilka razy tyle, a firma i tak zapowiedziała, że po nagrodę nie sięgnie. To dobrze pokazuje, o co naprawdę toczy się gra: nie o milion, tylko o dowód, że taki tryb pracy w ogóle działa.

Drugi wniosek jest praktyczniejszy. Przy 88 godzinach i dziesięciu tysiącach agentów koszt jednej godziny tej operacji to około 70 tysięcy dolarów, licząc po dolnej granicy szacunku. Każda decyzja o tym, którym tropem podążyć, była więc warta dziesiątki tysięcy dolarów. To zupełnie inna ekonomia niż praca pojedynczego badacza, dla którego ślepa uliczka kosztuje stracone popołudnie.

Jedyna liczba, którą OpenAI podało w komunikacie prasowym wprost i bez zaokrągleń, dotyczy mniejszej części operacji:

„Blisko 100 agentów pracowało razem przez około 50 godzin, żeby wytworzyć nasze obalenie regularności Eulera.”

OpenAI, komunikat prasowy

To zdanie tłumaczy niespójność, która krąży w relacjach. Szef badań Mark Chen mówił o ponad tysiącu agentów przez ponad pięćdziesiąt godzin, co dotyczy właśnie tego mniejszego podejścia, a nie głównej operacji na Navierze-Stokesie. Dwie różne akcje, dwie różne skale, jeden komunikat.

Czego w tych liczbach brakuje

OpenAI nie udostępniło modelu, jego wyników w testach porównawczych ani pełnego opisu systemu koordynującego agentów. Nie ma też rozbicia kosztów. W relacjach pojawia się dodatkowo niespójność: szef badań Mark Chen mówił o ponad tysiącu agentów pracujących ponad pięćdziesiąt godzin, co najpewniej opisuje mniejsze podejście do równań Eulera, a nie główną operację.

Brakuje też informacji najciekawszej z inżynierskiego punktu widzenia: ile z tych 130 miliardów tokenów poszło w ślepe uliczki. Tao krytykował właśnie ukrywanie nieudanych prób, bo to one mówią, jak taka maszyneria naprawdę pracuje. Kontekst sporu wokół samego ogłoszenia opisuję w tekście o zarzutach wobec OpenAI.

Jedna liczba na koniec

Formalizacja i sprawdzenie w Lean zajęły 17 godzin, czyli jedną piątą czasu poświęconego na samo szukanie. To dobra proporcja do zapamiętania, bo pokazuje, że przy dowodzeniu maszynowym weryfikacja przestała być wąskim gardłem. Wąskim gardłem zostało pytanie, czy sformalizowano to, o co faktycznie pytano.

Najczęściej zadawane pytania

Ile kosztowała operacja OpenAI nad problemem Naviera-Stokesa?

OpenAI oficjalnie mówi o 'milionach dolarów’, a w relacjach z konferencji prasowej pojawiła się kwota około 15 milionów dolarów, choć nie potwierdzają jej duże redakcje. Przeliczenie po publicznym cenniku GPT-6 Astra daje samo wyjście dla Naviera-Stokesa na poziomie 6,5 miliona dolarów, a po doliczeniu tokenów wejściowych i całej reszty próby kwota kilkunastu milionów mieści się w tym rachunku.

Ile agentów i jak długo pracowało nad problemem Naviera-Stokesa?

Nad problemem Naviera-Stokesa pracowało do 10 000 agentów równolegle przez około 88 godzin. Dodatkowo formalizacja i sprawdzenie w Lean zajęły kolejne 17 godzin, a osobne podejście do równań Eulera wymagało około 100 agentów przez 50 godzin.

Dlaczego OpenAI nie sięgnie po nagrodę Instytutu Claya za rozwiązanie problemu Naviera-Stokesa?

Firma zapowiedziała, że po nagrodę nie sięgnie - nagroda Instytutu Claya wynosi milion dolarów, a sama operacja kosztowała kilka razy tyle. Według OpenAI celem było udowodnienie, że taki tryb pracy z agentami w ogóle działa, a nie zdobycie nagrody finansowej.