Opus 5 kontra reszta stawki. Kiedy naprawdę nie potrzebujecie najlepszego modelu

👁 263 przeczytań

Opus 5 jest teraz najwyżej ocenianym modelem w niezależnym Intelligence Index. Pytanie, które zadaję sobie przy każdej takiej premierze, brzmi inaczej niż w nagłówkach: nie „czy jest najlepszy”, tylko „do czego naprawdę potrzebuję najlepszego”.

Ile kosztuje inteligencja

Poniżej zestawienie z danych Artificial Analysis. Cena to koszt miksu 3:1 wejścia do wyjścia, czyli to, co realnie płacicie przy typowym użyciu:

Trzy wnioski z tej tabeli. Po pierwsze, Opus 5 zbił cenę szczytu o połowę: to samo miejsce w rankingu co Fable 5, dwa razy taniej. Po drugie, chiński Kimi K3 daje 93 procent inteligencji lidera za 60 procent ceny. Po trzecie, GLM-5.2 z otwartymi wagami kosztuje jedenaście razy mniej niż Opus 5, a wciąż ma 51 punktów.

Gdzie te punkty znikają

Różnica między 61 a 51 punktem nie rozkłada się równo na wszystkie zadania. W streszczaniu maila, przepisaniu tekstu czy wyciągnięciu danych z faktury nie zobaczycie jej wcale. Zobaczycie ją w zadaniach wieloetapowych, w kodzie, którego nie znacie, i wszędzie tam, gdzie model musi zauważyć, że sam się pomylił.

Jak to policzyć u siebie

Weźcie sto swoich prawdziwych zapytań z ostatniego tygodnia, puśćcie je przez dwa modele i policzcie, ile odpowiedzi wymagało poprawki. Jeśli tańszy model wymaga poprawki w pięciu procentach przypadków, a jest cztery razy tańszy, wybór jest oczywisty. Jeśli w trzydziestu, płacicie za drogi model swoim czasem, tylko w innej walucie.

Nowy suwak wysiłku w Opus 5 dokłada tu jeszcze jedną możliwość: zamiast przesiadać się na inny model, można zejść z wysiłkiem na tym samym. To pierwszy raz, gdy ta decyzja jest w waszych rękach na poziomie pojedynczego zapytania.

Ta sama arytmetyka działa przy nowszych modelach: Fable 5.1 kosztuje dwa razy tyle co Opus 5, a w zadaniach językowych po polsku przewagi nie widać. Pełne dane obu wersji zebrałem w przewodniku o Fable 5.

// czytaj dalejIle pamięci naprawdę potrzebuje agent AI? To zależy od modelu, nie od intuicjiNewsyKiedy dostaniesz GPT-6 Astra? Etapy udostępniania, plany i co zrobić, gdy modelu nie widaćMagazynKtóry model AI pisze najlepiej po polsku? Benchmark: 5 generatorów kontra „Zażółć gęślą jaźń”AI dla twórców