Model decyzyjny zamiast LLM: ile oszczędzasz na milionie klasyfikacji

👁 118 przeczytań

Model decyzyjny zamiast LLM-a opłaca się wtedy, gdy odpowiedź jest z zamkniętej listy, a decyzji są tysiące dziennie. Na milionie klasyfikacji różnica jest kilkukrotna: według pomiarów Artificial Analysis z 13.10.2026 milion zadań klasyfikacji kosztuje 12,1-22,8 USD w najlepszych modelach decyzyjnych i 91,5 USD w Claude Haiku 5.5. W moim teście na polskich zgłoszeniach połączenie Microsoft-Decision-1 z Claude Haiku 5.5 dla niepewnych przypadków dało tę samą trafność co sam Haiku przy koszcie 5,5 raza niższym. Poniżej pełny rachunek, gotowy kalkulator i lista pułapek.

Czym w ogóle jest model decyzyjny i który wygrał ranking, opisałem w przewodniku Modele decyzyjne AI i w newsie o Decision Index. Tutaj liczę tylko pieniądze.

Kiedy model decyzyjny się opłaca

Sprawdź pięć warunków. Im więcej spełnionych, tym większa oszczędność:

• Odpowiedź jest z listy. Dział, kategoria, tak/nie, ocena na skali, nazwa narzędzia. Jeśli potrzebujesz zdania, model decyzyjny go nie napisze.
• Decyzji jest dużo. Przy 100 dziennie oszczędzisz centy miesięcznie i nie warto zmieniać działającego kodu. Przy 10 tys. dziennie to już kilkaset tysięcy decyzji miesięcznie.
• Wszystko, czego model potrzebuje, jest w stanie. Treść zgłoszenia, dane zamówienia, historia klienta. W pytaniach o wiedzę z pamięci modele decyzyjne mają według AA 28-41% trafności, a Claude Haiku 5.5 52%.
• Liczy się czas. Mediana 63-500 ms na zadanie w pomiarach AA wobec 1,4-1,5 s u małych LLM-ów - to różnica w agencie, który podejmuje kilka decyzji w każdym kroku.
• Chcesz progu pewności. Model decyzyjny podaje prawdopodobieństwo każdej opcji, więc łatwo odesłać niepewne przypadki dalej.

Rachunek 1: milion klasyfikacji według Artificial Analysis

Artificial Analysis podaje koszt dla każdego testu osobno. Najbliżej typowej klasyfikacji jest WildGuardTest: model ocenia, czy prośba i odpowiedź są szkodliwe. Koszt miliona zadań i wynik (F1) z 13.10.2026:

Wniosek: Decider v1.1 27B i Jev 1.13 klasyfikują tu lepiej niż Claude Haiku 5.5, a kosztują 7,6 i 4 razy mniej. Claude Opus 5.5 jest w tej klasyfikacji niewiele lepszy od Haiku, a kosztuje 41 razy więcej - do takiej pracy duży model jest po prostu za drogi.

Rachunek 2: milion polskich zgłoszeń z mojego testu

13.10.2026 przepuściłem przez OpenRouter 50 polskich zgłoszeń do sklepu (dział z 7 opcji i pilność w jednym zapytaniu). Koszt zmierzyłem z faktur OpenRoutera dla każdego zapytania i przeliczyłem na milion zgłoszeń. Trafność liczę na 47 jednoznacznych zgłoszeniach (w trzech wszystkie modele wybrały inny dział niż mój klucz, szczegóły w przewodniku).

Skąd różnice w koszcie przy podobnych cenach za token:

• Tokenizer. To samo polskie zgłoszenie z pytaniami to średnio 205 tokenów w Mercury Decide, 280 w Microsoft-Decision-1 i 650 w Jevie.
• Prompt LLM-a jest dłuższy. Claude Haiku 5.5 dostawał instrukcję systemową i schemat JSON: średnio 782 tokeny wejścia i 45 wyjścia na zgłoszenie, a wyjście jest 5 razy droższe od wejścia.
• Dostawca na OpenRouterze. Clef i Clef-Flash szły przez tańszego dostawcę niż Cloudflare, w Workers AI zapłaciłbyś więcej.

Kaskada: ta sama trafność za ułamek ceny

Model decyzyjny podaje pewność wybranej opcji. Najprostszy układ: jeśli pewność jest co najmniej 0,8, przyjmujesz odpowiedź, a jeśli niższa - pytasz LLM-a. Policzyłem to na wynikach z testu, z Claude Haiku 5.5 (low) jako drugim stopniem:

• Microsoft-Decision-1 z Haiku dla 6% niepewnych przypadków trafił tyle samo co sam Haiku, a milion zgłoszeń kosztowałby 18,2 zamiast 100,8 USD - 5,5 raza mniej.
• Jev sam trafił najmniej (41), ale jego pewność dobrze wskazuje błędy: po odesłaniu 17% niepewnych do Haiku wynik rósł do 45.
• Uwaga na skalę testu. 47 zgłoszeń to mało, różnica jednego zgłoszenia to szum. Odsetek eskalacji i próg ustal na co najmniej kilkuset własnych przykładach.

Rachunek 3: czas

Pieniądze to nie wszystko. Według AA mediana zadania to 127 ms dla Jeva i 1434 ms dla Claude Haiku 5.5 (low). Milion decyzji wykonywanych jedna po drugiej to około 35 godzin w Jevie i prawie 400 godzin w Haiku. W praktyce zadania idą równolegle, ale wtedy liczą się limity zapytań u dostawcy - np. Perplexity daje 10 zapytań na sekundę na organizację. W agencie, który w jednym kroku pyta o narzędzie, pilność i bezpieczeństwo, różnica 1,3 s na każdą decyzję jest odczuwalna dla użytkownika.

Gotowy skrypt: kalkulator kosztu

Wpisz swoje liczby tokenów i ceny, a skrypt policzy koszt modelu decyzyjnego, LLM-a i kaskady. Domyślne wartości to średnie z mojego testu (Microsoft-Decision-1 i Claude Haiku 5.5). Sprawdziłem go 13.10.2026 w czystym folderze na Pythonie 3.13; nie wymaga instalowania bibliotek. Wynik dla domyślnych wartości: 11,76 USD (model decyzyjny), 100,70 USD (LLM), 17,80 USD (kaskada, oszczędność 82%).

# Ile kosztuje milion decyzji: model decyzyjny, LLM i kaskada (promptowy.com, 13.10.2026)
# Uruchom: python kalkulator_decyzji.py   (Python 3.8+, bez dodatkowych bibliotek)

N = 1_000_000          # liczba decyzji
TOK_WEJ_DEC = 280      # tokeny wejścia na decyzję w modelu decyzyjnym (zmierz u siebie)
CENA_DEC = 0.042       # USD za mln tokenów wejścia (Microsoft-Decision-1; wyjście 0 USD)
TOK_WEJ_LLM = 782      # tokeny wejścia na zadanie w LLM (prompt + schemat + zgłoszenie)
TOK_WYJ_LLM = 45       # tokeny wyjścia na zadanie w LLM (JSON + rozumowanie)
CENA_LLM_WEJ = 0.10    # USD za mln tokenów wejścia (Claude Haiku 5.5)
CENA_LLM_WYJ = 0.50    # USD za mln tokenów wyjścia (Claude Haiku 5.5)
ESKALACJA = 0.06       # część decyzji poniżej progu pewności, które idą do LLM


def koszt_dec(n):
    return n * TOK_WEJ_DEC * CENA_DEC / 1e6


def koszt_llm(n):
    return n * (TOK_WEJ_LLM * CENA_LLM_WEJ + TOK_WYJ_LLM * CENA_LLM_WYJ) / 1e6


sam_dec = koszt_dec(N)
sam_llm = koszt_llm(N)
kaskada = koszt_dec(N) + koszt_llm(N * ESKALACJA)
print(f"Model decyzyjny:         {sam_dec:8.2f} USD")
print(f"LLM:                     {sam_llm:8.2f} USD")
print(f"Kaskada ({ESKALACJA:.0%} do LLM):    {kaskada:8.2f} USD")
print(f"Oszczednosc kaskady:     {sam_llm - kaskada:8.2f} USD ({1 - kaskada / sam_llm:.0%})")

Tokeny najłatwiej zmierzyć tak: wyślij 50-100 swoich prawdziwych zapytań i odczytaj pole usage z odpowiedzi API (OpenRouter zwraca w nim też koszt w USD).

Ukryte koszty, o których łatwo zapomnieć

• Oznaczone przykłady. Żeby ustawić próg pewności, potrzebujesz kilkuset zgłoszeń z poprawną odpowiedzią. To kilka godzin pracy człowieka.
• Kalibracja po polsku. W moim teście modele myliły się w pilności przy prawdopodobieństwach bliskich 0,5, a Microsoft-Decision-1 przy progu 0,5 dawał 8 fałszywych alarmów. Próg 0,5 to zwykle zły wybór.
• Zbyt pewne siebie modele. Według AA wszystkie modele decyzyjne deklarują wyższą pewność, niż wynika z trafności, zwłaszcza przy pytaniach o wiedzę. Przy klasyfikacji jest lepiej, ale sprawdź to na swoich danych.
• Dane osobowe. Jev przetwarza dane w USA, OpenAI i Microsoft oferują przetwarzanie w UE (OpenAI z dopłatą 10%). Otwarte modele (Decider, Clef, d1-3B) możesz uruchomić u siebie, ale wtedy płacisz za serwer z GPU.
• Dwa systemy zamiast jednego. Kaskada to dodatkowy kod, monitoring i dwa rachunki. Przy małej skali prostota jednego LLM-a może być więcej warta niż oszczędność.

Kiedy zostać przy LLM-ie

• potrzebujesz odpowiedzi tekstowej albo uzasadnienia decyzji (wyjątek: Celeris-1 Decision daje jednozdaniowe uzasadnienie),
• decyzja zależy od wiedzy o świecie, której nie ma w zapytaniu,
• lista opcji ciągle się zmienia albo jest bardzo długa i nieostra,
• decyzji jest mało - przy 1000 miesięcznie Claude Haiku 5.5 kosztuje około 0,10 USD.

Najczęstsze pytania

Ile kosztuje milion klasyfikacji modelem decyzyjnym?

Według Artificial Analysis 12,1-22,8 USD w najlepszych modelach decyzyjnych (Decider v1.1 27B, Microsoft-Decision-1, Mercury Decide, Jev 1.13) wobec 91,5 USD w Claude Haiku 5.5 (low). W moim teście na krótkich polskich zgłoszeniach: 4,1-27,3 USD wobec 100,8 USD.

Czy model decyzyjny jest tak samo dokładny jak LLM?

W klasyfikacji i wyborze narzędzi najlepsze modele decyzyjne są na poziomie małych LLM-ów albo lepsze. W pytaniach o wiedzę i trudnym rozumowaniu przegrywają wyraźnie.

Co to jest kaskada modeli?

Układ, w którym tani model decyzyjny rozstrzyga przypadki z wysoką pewnością, a resztę przekazuje droższemu modelowi albo człowiekowi. W moim teście Microsoft-Decision-1 z Claude Haiku 5.5 dla 6% przypadków dał trafność samego Haiku za 18% jego kosztu.

Od ilu decyzji dziennie warto przejść na model decyzyjny?

Nie ma jednej granicy. Przy kosztach z mojego testu oszczędność na każdym milionie zgłoszeń to około 73-97 USD. Przy 50 tys. decyzji dziennie (1,5 mln miesięcznie) daje to około 110-145 USD miesięcznie. Do tego dochodzi kilkukrotnie krótszy czas odpowiedzi.

Ujawnienie: Jeva znam z wcześniejszego rozpoznania - we wrześniu napisałem do niego prostego klienta API. TypeSafe nie zamawiało ani nie opłaciło tego tekstu, a wszystkie modele dostały w teście te same zadania.

Źródła

• Artificial Analysis Decision Index v1.0 (13.10.2026)
• Artificial Analysis: WildGuardTest - wyniki i koszty (dane pobrane 13.10.2026)
• OpenRouter: Decisions API
• Perplexity: limity Decisions API
• Własny test: 13.10.2026, 50 zgłoszeń + 10 decyzji o narzędziach, 11 modeli przez OpenRouter z Polski, koszt 0,022 USD.