Grok 4.7 vs Fable 5.1 vs GPT-5.6 Sol: policzyłem, ile kosztuje punkt przewagi

👁 214 przeczytań

Producent Groka 4.7 zrobił przy premierze rzecz nietypową: opublikował własne wyniki obok wyników konkurencji i obok cen. Wziąłem tę tabelę i policzyłem to, czego w niej nie ma - ile realnie kosztuje jeden punkt procentowy przewagi. Wynik jest dla części zastosowań brutalny.

Pełna tabela, ceny i wyniki razem

Gwiazdka to wynik w trybie wysokiego wysiłku. Wszystkie liczby pochodzą z materiału producenta Groka.

Ile kosztuje punkt przewagi

To jest wyliczenie, którego nie ma w żadnym ogłoszeniu, a decyduje o rachunku. Weźmy CursorBench, czyli kodowanie - test, w którym Fable 5.1 wygrywa najwyraźniej.

Przewaga wynosi 5,5 punktu procentowego (51,8% wobec 46,3%). Koszt zadania przy milionie tokenów wejściowych i 200 tysiącach wyjściowych:

Jeden punkt procentowy przewagi w kodowaniu kosztuje około 3,05 USD na zadanie. Przy stu zadaniach miesięcznie to 305 dolarów, czyli około 1 150 zł, za pięć i pół punktu.

To jest wyliczenie redakcji na podstawie cen i wyników producenta, przy kursie 3,78 zł za dolara. Czy to się opłaca, zależy wyłącznie od tego, ile kosztuje Cię błąd. Przy kodzie idącym na produkcję pięć punktów może być warte każdej złotówki. Przy generowaniu treści roboczych - raczej nie.

Gdzie różnice są największe

Prawo: przewaga trzykrotna i ośmiokrotna

Harvey Legal Agent Benchmark: 19,6% wobec 6,7% i 2,5%. To nie jest różnica stopnia, tylko rzędu wielkości. Przy pracy z dokumentami prawnymi ten jeden wiersz tabeli przeważa wszystko inne - i przy okazji model jest tu najtańszy.

Elektronika: 25 punktów różnicy

EEBench: 64,0% wobec 39,4%. Grok 4.7 wygrywa też z droższym konkurentem (56,4%).

Terminal: przewaga po drugiej stronie

Terminal-Bench 4.0: 57,9% wobec 38,0%. Prawie 20 punktów na korzyść droższego modelu. Przy długich zadaniach w terminalu ta różnica jest zbyt duża, żeby ją zignorować dla oszczędności.

Medycyna: najdroższy wygrywa

HealthBench Professional: 62,1%, 60,5% i 56,7%. Różnice są niewielkie, ale kolejność odwrotna do ceny - tu płacisz i dostajesz.

Osobna miara: praca zawodowa

Producent podał też wyniki w skali Elo dla zadań wykonywanych przez zawodowców - prawników, pielęgniarki, analityków finansowych:

Różnica między czołówką a Grokiem 4.7 to 40 punktów Elo. Dla porównania: skok z Groka 4.6 na 4.7 to 90 punktów, czyli ponad dwa razy więcej niż dystans, jaki został do lidera.

Który model do czego - tabela decyzyjna

Czego ta tabela nie mówi

To jest opinia i uważam ją za najważniejszą rzecz w całym tekście. Wszystkie te liczby pochodzą od jednego producenta, który przy okazji publikuje wyniki swojej konkurencji. Nie ma powodu zakładać, że są nieuczciwe - podanie własnych przegranych w czterech testach z siedmiu przemawia za rzetelnością. Ale to nadal nie jest niezależny benchmark.

Druga rzecz: benchmark mierzy to, co mierzy. Jeśli Twoja praca nie przypomina żadnego z tych siedmiu testów, tabela mówi Ci o niej niewiele. Jedyny wiarygodny test to dziesięć Twoich własnych zadań puszczonych przez oba modele i porównanych ręcznie. Kosztuje to kilkadziesiąt złotych i godzinę czasu, a odpowiada na pytanie, na które żaden ranking nie odpowie.

Najczęstsze pytania

Który model jest najlepszy?

Fable 5.1 wygrywa cztery benchmarki z siedmiu, więc w kategorii czystej jakości - on. W kategorii wyniku na złotówkę - Grok 4.7, i to z dużym zapasem.

Czy warto dopłacać za droższy model?

W kodowaniu jeden punkt przewagi kosztuje około 3 USD na zadanie. Opłaca się, jeśli błąd w kodzie kosztuje Cię więcej. Przy pracy roboczej trudno to obronić.

Dlaczego GPT-5.6 Sol wypada słabo?

W tym zestawieniu wygrywa tylko jeden benchmark, przy cenie dwa razy wyższej od najtańszego. Warto pamiętać, że to wyniki opublikowane przez konkurenta - do weryfikacji u źródła.

Co z GPT-6 Astra?

Pojawia się tylko w zestawieniu Elo dla pracy zawodowej, gdzie ma 1 542 punkty - najniżej z czterech porównywanych.

// czytaj dalejChatGPT wysyła ludzi do redakcji zamiast do supportu. Policzyłem, ile to kosztuje jedną skrzynkę mailowąMagazynPolski prompt kosztuje o 40 procent więcej niż angielski. Policzyłem dopłatę za ogonki w czterech modelachMagazynOd 24 do 2199 zł za AI: policzyłem, ile to procent polskiej pensji i ile kosztuje jeden dzień myślenia maszynyMagazyn