Modele decyzyjne vs małe modele językowe: koszt, czas i trafność

👁 115 przeczytań

W Decision Index modele decyzyjne odpowiadają od 3 do ponad 20 razy szybciej od małych modeli językowych, ale Claude Haiku 5.5 (low) ma wyższy wynik całego indeksu niż którykolwiek z nich. Z kosztem nie ma prostej reguły: zależy od konkretnego modelu i od tego, ile tokenów wyjścia płacisz w LLM-ie. Poniżej zestawiam pomiary Artificial Analysis, cenniki API i jawny rachunek na tokenach.

Stan danych: 13.10.2026. „Małe modele językowe” oznaczają tu tańsze warianty z ofert producentów (Haiku, Luna, Flash, Gemma), a nie potwierdzoną liczbę parametrów. Czym jest model decyzyjny i kto wygrał ranking, opisuje przewodnik Modele decyzyjne AI. Rachunek oszczędności na milionie klasyfikacji i kalkulator kaskady są w osobnym poradniku Model decyzyjny zamiast LLM - tu skupiam się na porównaniu samych małych LLM-ów z modelami decyzyjnymi.

Najpierw porównaj to samo zadanie

Model decyzyjny zwraca wybór i prawdopodobieństwo każdej opcji. W Decision Index zwykły model językowy dostaje te same zadania, ale odpowiada w wymuszonym formacie JSON. Dzięki temu oba typy modeli rozwiązują identyczne pytania, choć inaczej produkują odpowiedź (metodologia AA).

Dlatego nie zestawiaj Decision Index jednego modelu z Intelligence Index drugiego - to różne skale, nawet jeśli obie wiszą na stronie Artificial Analysis. Pilnuj też ustawienia przy nazwie LLM-a: Haiku 5.5 w wariantach low, medium, high, xhigh i max to w AA pięć osobnych wierszy z innym wynikiem, kosztem i czasem.

I jeszcze jedno: poprawna kategoria to nie to samo co odpowiedź dla klienta. Jeśli w twoim procesie po decyzji trzeba napisać uzasadnienie albo wiadomość, doliczasz etap generowania tekstu. Porównanie samego klasyfikatora z pełną odpowiedzią tekstową zmienia przedmiot pomiaru.

Wynik, koszt i czas według AA

Źródło: ranking Decision Index AA na żywo, odczyt 13.10.2026, z włączonym porównaniem modeli językowych. Wszystkie 11 modeli decyzyjnych z rankingu i wybrane małe LLM-y. Pogrubiono najlepszą wartość w kolumnie. Wiersz Gemini to luka danych, nie wynik zerowy.

AA liczy koszt ze zużycia tokenów i aktualnych cen, a potem przelicza średni koszt zadania na milion. Modele decyzyjne płacą tylko za wejście, LLM-y za wejście i wyjście. Czas to mediana zadań indeksu. Koszt nie jest więc cennikiem „miliona dowolnych decyzji”, tylko rachunkiem za konkretny zestaw pytań.

Co z tej tabeli wynika:

• Haiku 5.5 (low) wygrywa wynikiem: ma 3,1 pkt więcej od Jeva, ale według AA jest około 11 razy wolniejszy i 4,4 raza droższy.
• Kategoria nie gwarantuje niższej ceny: Clef kosztuje więcej niż Haiku 5.5 (low) i GPT-6 Luna (low), choć odpowiada szybciej. Clef-Omni jest droższy od Luny w wariancie non-reasoning.
• Większy LLM nie znaczy lepszy w decyzjach: Gemma 4 31B z rozumowaniem jest najdroższa i najwolniejsza w zestawieniu, a wynikiem ledwie wyprzedza Lunę (low).
• Najtańszy zestaw: Decider v1.1 27B, Microsoft-Decision-1 i Jev 1.13 leżą według AA na granicy opłacalności (najlepszy wynik za daną cenę).

Trafność zależy od rodzaju decyzji

Najwyższy wynik indeksu nie oznacza przewagi w każdej składowej. Według analizy AA LLM-y wygrywają wiedzą, a czołowe modele decyzyjne dorównują im lub je wyprzedzają w klasyfikacji bezpieczeństwa i decyzji o narzędziach.

Źródła liczb, odczyt 13.10.2026: wykresy AA dla AA-Omniscience-Decision, HLE-MultiChoice, When2Call i WildGuardTest. Ostatnia kolumna zbiera najlepsze wyniki różnych modeli, więc nie opisuje jednego systemu. Jak zbudowany jest indeks i co mierzy każdy test, opisałem w newsie o rankingu Decision Index.

Wniosek praktyczny: jeśli zadanie polega na przypisaniu wiadomości do dobrze opisanej kategorii albo na wyborze następnego kroku agenta, model decyzyjny jest poważnym kandydatem. Jeśli decyzja wymaga wiedzy, której nie ma w zapytaniu, mały LLM ma wyraźną przewagę. To wskazówka do doboru próby testowej, nie obietnica takiej samej skuteczności w twojej firmie.

Cennik API: osobna tabela, osobne jednostki

Źródła cen, odczyt 13.10.2026: Anthropic, OpenAI, Google, Cloudflare; ceny modeli decyzyjnych według producentów, zebrane w przewodniku. Stawki Haiku i Luny zgadzają się z kosztem, który OpenRouter naliczył mi za zapytania w teście 13.10. Tabela pomija pamięć podręczną, rabaty wsadowe i dopłaty za przetwarzanie w UE.

Uwaga na Gemini 3.8 Flash: Google podaje stawki 0,75 i 3,75 USD jako obowiązujące do końca 2026, więc przed kalkulacją na kolejny rok sprawdź aktualny cennik. Przy wszystkich LLM-ach upewnij się też, czy twoje wejście nie przekracza progu długiego kontekstu, od którego obowiązują inne stawki.

Ile kosztuje milion zadań przy jawnych założeniach

To scenariusz, nie benchmark. Zakładam milion wywołań po 1000 rozliczanych tokenów wejścia. Dla LLM-ów porównuję 50 i 500 rozliczanych tokenów wyjścia na zadanie, wliczając płatne rozumowanie. To przyjęte zużycie, nie prognoza długości odpowiedzi któregokolwiek modelu.

Koszt 1 mln zadań w USD =
tokeny wejścia na zadanie * cena 1 mln tokenów wejścia
+ tokeny wyjścia na zadanie * cena 1 mln tokenów wyjścia

Haiku, wariant 50 tokenów wyjścia:
1000 * 0.10 + 50 * 0.50 = 125 USD

Obliczenia własne na podstawie cenników z 13.10.2026. Modele decyzyjne nie generują tekstu, więc ich koszt nie zależy od budżetu wyjścia. Pogrubienie wskazuje najniższy koszt w scenariuszu, nie zwycięzcę jakości.

• Przy krótkim wyjściu Haiku i Luna kosztują mniej niż Clef w Workers AI, przy dłuższym relacja się odwraca.
• Gemini 3.8 Flash wychodzi w tym rachunku 7,5 raza drożej od Haiku i Luny, przy obu budżetach wyjścia.
• Jeśli dodatkowe tokeny wyjścia to potrzebne uzasadnienie, model decyzyjny go nie zastąpi - drugi model generujący tekst to kolejne wywołanie do doliczenia.

Jednakowe 1000 tokenów to uproszczenie: różne tokenizery liczą ten sam tekst inaczej. W moim teście jedno polskie zgłoszenie z pytaniami miało od około 205 tokenów w Mercury Decide do około 650 w Jevie, a Haiku z instrukcją i schematem JSON dostawał średnio 782 tokeny wejścia. Dlatego w prawdziwym porównaniu zapisuj zużycie, które raportuje API, zamiast szacować je z długości wiadomości.

Opóźnienie: czas do gotowej decyzji

W klasyfikacji liczy się chwila, w której aplikacja może wykonać następny krok. Pierwszy znak rozpoczętego JSON-u to jeszcze nie decyzja, więc czas do pierwszego tokena i tempo generowania nie zastępują pomiaru pełnej odpowiedzi.

Mój test z 13.10.2026 (zapytania z Polski przez OpenRouter, więc z czasem sieci) potwierdza kierunek z AA:

• Modele decyzyjne: mediana 310-619 ms (najszybszy Clef-Omni, najwolniejszy Mercury Decide).
• GPT-6 Luna (low): 1371 ms.
• Claude Haiku 5.5 (low): 1689 ms.
• Gemini 3.8 Flash: w osobnym teście z 5.10.2026 przez API mediana 1822 ms na 30 polskich zgłoszeniach (dział 30/30, pilność 26/30). To inny zestaw i inny dzień, więc nie dopisuję tej liczby do tabeli AA.

Mediana pokazuje środek rozkładu, a nie najwolniejsze odpowiedzi, na które czeka użytkownik. We własnej próbie zapisuj też ogon rozkładu, błędy i ponowienia. Ile godzin zajmuje milion decyzji jedna po drugiej i co zmieniają limity zapytań, policzyłem w poradniku o koszcie.

Trafność po polsku: mały LLM wciąż o krok przed

Na 47 jednoznacznych polskich zgłoszeniach z mojego testu modele decyzyjne trafiły dział w 41-44 przypadkach, a Claude Haiku 5.5 (low) i GPT-6 Luna (low) w 45. Różnica jednego-trzech zgłoszeń przy tak małej próbie jest blisko szumu, ale zgadza się z AA: w prostej klasyfikacji małe LLM-y mają lekką przewagę, za którą płacisz czasem i ceną. Pełne wyniki wszystkich 11 modeli są w przewodniku.

Kiedy wybrać który wariant

• Model decyzyjny: gdy wynikiem kroku jest etykieta albo wybór działania, a decyzji są tysiące. Sprawdź kandydatów na tych samych przykładach i wykorzystaj prawdopodobieństwa do odsyłania niepewnych przypadków dalej.
• Claude Haiku 5.5: gdy decyzję trzeba połączyć z tekstem albo wiedzą spoza zapytania. W wariancie low ma najwyższy wynik w tym zestawieniu, ale odpowiada ponad 10 razy wolniej od najszybszych modeli decyzyjnych.
• GPT-6 Luna: najwyższa trafność w pytaniach o wiedzę wśród porównanych wariantów (66,0), ale w tym teście praktycznie nigdy nie wybiera „nie wiem” (0,0), więc częściej zgaduje. Trzymaj osobno wiersze low, non-reasoning i Decisions - to trzy różne wyniki, koszty i czasy.
• Gemini 3.8 Flash: wymaga własnego porównywalnego testu. Cennik pozwala na rachunek scenariuszowy, ale nie uzupełnia brakującego wyniku w Decision Index.

Najczęstsze pytania

Czy model decyzyjny zawsze jest tańszy od małego LLM-a?

Nie. W pomiarze AA Clef kosztuje 199,4 USD za milion zadań, więcej niż Claude Haiku 5.5 (low) i GPT-6 Luna (low). Liczą się konkretny model, długość wejścia i płatne wyjście.

Czy milion tokenów oznacza milion zadań?

Nie. Jedno zadanie zużywa od kilkuset do kilku tysięcy tokenów. Koszt miliona zadań to cena za token pomnożona przez zmierzone albo jawnie założone zużycie.

Czy Gemini 3.8 Flash przegrywa w Decision Index?

Nie ma podstaw do takiego wniosku. 13.10.2026 Gemini 3.8 Flash nie miał wyniku w indeksie. Brak pomiaru nie jest przegraną.

Czy GPT-6 Luna i GPT-6 Luna Decisions to ten sam wynik?

Nie. AA pokazuje osobno model językowy (low: 55,2 pkt, non-reasoning: 49,6) i wariant Decisions (48,5 pkt). Każdy ma własny koszt i czas.

Czy wynik indeksu to procent trafnych decyzji?

Nie. To złożenie czterech różnych miar. Do konkretnego zastosowania wybierz pasującą składową i przetestuj model na reprezentatywnych danych.

Ujawnienie: Jeva znam z wcześniejszego rozpoznania - we wrześniu napisałem do niego prostego klienta API z myślą o własnych narzędziach redakcyjnych. TypeSafe nie zamawiało ani nie opłaciło tego tekstu. Ocenę opieram na niezależnych pomiarach Artificial Analysis i na moim teście, w którym wszystkie modele dostały te same zadania.

Własne testy: 13.10.2026 (50 polskich zgłoszeń, 11 modeli przez OpenRouter z Polski) i 5.10.2026 (30 polskich zgłoszeń, w tym Gemini 3.8 Flash przez API).