Benchmarki Decision Index wyjaśnione po ludzku
Co mierzą cztery testy Decision Index, jak działa ocena niewiedzy i dlaczego wynik indeksu nie jest procentem trafnych decyzji.

Spis treści 9
- Co dokładnie składa się na Decision Index
- AA-Omniscience-Decision: wiedza z możliwością powiedzenia „nie wiem”
- HLE-MultiChoice: trudny wybór spośród gotowych odpowiedzi
- When2Call: czasem najlepszy ruch to pytanie
- WildGuardTest: trzy oceny bezpieczeństwa zamiast jednej etykiety
- Najlepszy w jednej konkurencji nie musi wygrywać w pozostałych
- Jak czytać pewność modelu
- Najczęstsze pytania
- Źródła
👁 112 przeczytań
- Decision Index to średnia czterech benchmarków z równymi wagami 25%, więc wynik 58 punktów nie oznacza 58% poprawnych decyzji w żadnym pojedynczym zadaniu.
- Na 100 pytań model może odpowiedzieć poprawnie na 40, błędnie na 45 i wybrać 'nie wiem' przy 15 - trafność wynosi wtedy 40%, a non-hallucination rate tylko 25%.
- Po dodaniu d1-ultra od Liquid AI 19 października lider całego indeksu zmienił się - model uzyskał 65,2 pkt, podczas gdy wcześniejszy lider Jev 1.13 ma 57,5 pkt.
Decision Index sprawdza, czy model potrafi wybrać właściwą odpowiedź, rozpoznać brak wiedzy, zdecydować o użyciu narzędzia i ocenić bezpieczeństwo treści. Jego wynik jest średnią kilku różnych miar, więc 58 punktów nie oznacza 58% poprawnych decyzji w firmie.
- Cztery benchmarki mają po 25% udziału w indeksie; część dotycząca wiedzy dzieli się na trafność i powstrzymywanie się od błędnej odpowiedzi.
- When2Call ocenia wybór następnego zachowania, a WildGuardTest klasyfikację bezpieczeństwa. Żaden z nich nie potwierdza, że cały agent działa poprawnie.
- Prawdopodobieństwo zwrócone przez model wymaga sprawdzenia na własnych danych. Wysoka liczba przy odpowiedzi nie jest gwarancją jej prawdziwości.
Stan źródeł: 13.10.2026. Poniższe scenki są autorskimi przykładami objaśniającymi zadania, nie pytaniami skopiowanymi z testów ani wynikami własnego eksperymentu. Podstawy działania tej kategorii i ranking opisuje przewodnik o modelach decyzyjnych AI.
Co dokładnie składa się na Decision Index
Artificial Analysis opublikowało wersję 1.0 13 października 2026. Zestaw obejmuje AA-Omniscience-Decision, HLE-MultiChoice, When2Call i WildGuardTest. Pierwszy wnosi dwie miary po 12,5%, pozostałe po jednej z wagą 25%. To istotne: różna liczba pytań w testach nie zmienia ich udziału w końcowej ocenie. Źródło: metodologia AA, odczyt 13.10.2026.
| Test | Pytanie po ludzku | Miara | Udział |
|---|---|---|---|
| AA-Omniscience-Decision | Czy model zna odpowiedź i umie przyznać się do niewiedzy? | Trafność oraz non-hallucination rate | 12,5% + 12,5% |
| HLE-MultiChoice | Czy wybierze odpowiedź na trudne pytanie akademickie? | Trafność | 25% |
| When2Call | Czy należy odpowiedzieć, użyć narzędzia, dopytać lub zgłosić brak możliwości odpowiedzi? | Trafność | 25% |
| WildGuardTest | Czy prośba i odpowiedź są szkodliwe oraz czy odpowiedź jest odmową? | Średnia F1 | 25% |
Wyobraź sobie ocenę pracownika, która łączy znajomość produktu, rozpoznawanie ryzyka i kierowanie spraw do odpowiedniego zespołu. Jedna nota ułatwia porównanie kandydatów, lecz zaciera różnice między umiejętnościami. Tak samo należy czytać indeks: najpierw jako orientację, później rozłożyć go na części pasujące do konkretnego procesu.
AA-Omniscience-Decision: wiedza z możliwością powiedzenia „nie wiem”
W tej adaptacji jest 500 prywatnych pytań. Każde ma cztery odpowiedzi merytoryczne, w tym jedną poprawną, oraz opcję „nie wiem”. Trafność oznacza udział poprawnych odpowiedzi we wszystkich pytaniach. Druga miara sprawdza, jak często wśród przypadków bez poprawnej odpowiedzi model wybrał niewiedzę zamiast błędu. Źródło: AA-Omniscience-Decision, odczyt 13.10.2026.
Autorski przykład: pytasz o datę zakończenia wsparcia dla konkretnego wydania programu. Model może wskazać jedną z czterech dat albo przyznać, że nie wie. Z punktu widzenia użytkownika brak odpowiedzi bywa mniej użyteczny od poprawnej daty, ale znacznie łatwiej go obsłużyć niż pewnie podaną datę błędną. Aplikacja może wtedy sięgnąć do dokumentacji.
Przykład rachunkowy, niezwiązany z wynikiem żadnego modelu: na 100 pytań system odpowiada poprawnie na 40, błędnie na 45, a przy 15 wybiera „nie wiem”. Trafność wynosi 40%. Wskaźnik non-hallucination rate wynosi 15 podzielone przez 60, czyli 25%. Mianowniki są różne. Błędem byłoby uznanie drugiej liczby za udział wszystkich odpowiedzi wolnych od zmyśleń.
Ta konstrukcja pokazuje dwa osobne zachowania: ile model wie oraz co robi, gdy nie trafia. System, który zawsze wybiera niewiedzę, nie rozwiązuje problemu użytkownika. System, który zawsze strzela, może wyglądać aktywnie, lecz dokładać fałszywe informacje. Czytając tabelę, trzymaj obie kolumny obok siebie i sprawdzaj, jaki kompromis pasuje do zadania.
HLE-MultiChoice: trudny wybór spośród gotowych odpowiedzi
AA wykorzystuje 513 tekstowych pytań wielokrotnego wyboru z Humanity’s Last Exam, bez obrazów. Oceniane jest dokładne dopasowanie wybranej litery do klucza. Nie jest to wynik pełnego HLE, który obejmuje także inne formaty zadań. Źródło: opis HLE-MultiChoice, odczyt 13.10.2026. Charakter oryginalnego egzaminu opisuje publikacja autorów HLE, odczyt 13.10.2026.
Uproszczona analogia: model dostaje opis zależności między kilkoma wielkościami i ma wybrać prawdziwy wniosek. Samo rozpoznanie tematu nie wystarcza. Trzeba odróżnić poprawną konsekwencję od odpowiedzi brzmiącej znajomo. W rzeczywistym benchmarku pytania są znacznie bardziej specjalistyczne niż taka szkolna ilustracja.
Praktyczny wniosek dotyczy granic zastosowania. Rozpoznanie, że klient pisze o zwrocie, to inny problem niż rozstrzygnięcie skomplikowanej zależności w dokumentacji. Jeżeli w twoim procesie klasyfikator ma również samodzielnie odkrywać wieloetapowe zależności, warto osobno sprawdzić tę część. Wysoka jakość prostego rozdzielania zgłoszeń nie zastępuje takiej próby.
Nie porównuj też wyniku HLE-MultiChoice z liczbą podpisaną jedynie „HLE” na slajdzie producenta. Najpierw ustal format pytań, dostęp do narzędzi i ustawienia modelu. Bez tego podobna nazwa testu może ukrywać inne zadanie, a różnica punktów przestaje być czytelnym porównaniem.
When2Call: czasem najlepszy ruch to pytanie
NVIDIA przygotowała When2Call do oceny decyzji o korzystaniu z funkcji. W wersji AA model wybiera jedną z czterech proponowanych reakcji. AA używa 3423 zadań, pomijając 229 przypadków z niejednoznaczną potrzebą doprecyzowania. Kolejność odpowiedzi jest mieszana. Źródła: repozytorium NVIDIA i adaptacja AA, odczyt 13.10.2026.
- Odpowiedz bezpośrednio: użytkownik prosi o wyjaśnienie pojęcia, a potrzebna treść jest już w kontekście.
- Wywołaj narzędzie: użytkownik pyta o aktualny status wskazanego zamówienia i dostępna jest właściwa funkcja odczytu.
- Dopytaj: użytkownik chce sprawdzić zamówienie, ale nie podał danych pozwalających je wskazać.
- Zgłoś brak możliwości: dostępne narzędzia nie pozwalają uzyskać żądanej informacji.
To przykłady sposobu myślenia o projekcie agenta. Rozróżnienie trzeciej i czwartej sytuacji jest szczególnie użyteczne. Gdy brakuje numeru zamówienia, pytanie może odblokować działanie. Gdy aplikacja w ogóle nie ma dostępu do systemu zamówień, kolejne pytanie o numer nie rozwiąże problemu. Agent powinien przekazać ograniczenie albo skierować sprawę dalej.
Dobry wynik w tym teście nie oznacza automatycznie, że model poprawnie wygeneruje wszystkie argumenty funkcji, obsłuży błąd serwera i zakończy transakcję. Oceniany wybór odpowiedzi jest węższym zadaniem. W praktycznym teście agenta trzeba oddzielnie sprawdzić decyzję, argumenty, uprawnienia oraz rezultat wykonania.
WildGuardTest: trzy oceny bezpieczeństwa zamiast jednej etykiety
WildGuardTest pochodzi od Ai2. AA wykorzystuje 835 wybranych wierszy i ocenia trzy kwestie: szkodliwość prośby, odmowę w odpowiedzi oraz szkodliwość odpowiedzi. Wynik jest średnią F1 dla tych zadań. To nie jest zwykły procent wszystkich poprawnych etykiet. Źródła: opis adaptacji AA i publikacja WildGuard, odczyt 13.10.2026.
Autorski przykład: użytkownik prosi o wykradzenie cudzych danych, a asystent odmawia i proponuje zabezpieczenie konta. Prośba może być szkodliwa, odpowiedź być odmową, a sama odpowiedź nie zawierać szkodliwej instrukcji. Wrzucenie całej wymiany do worka „niebezpieczne” zgubiłoby te różnice.
F1 łączy precyzję i czułość. W uproszczeniu liczy się zarówno to, czy alarmy rzeczywiście dotyczą szkodliwych treści, jak i to, czy takie treści nie przechodzą niezauważone. Dla własnej moderacji oglądaj też oba rodzaje pomyłek osobno. Zablokowanie niewinnej reklamacji i przepuszczenie groźby wymagają różnych poprawek.
Najlepszy w jednej konkurencji nie musi wygrywać w pozostałych
| Miara | Najwyższy wynik wśród modeli decyzyjnych przy premierze |
|---|---|
| AA-Omniscience-Decision: trafność | d1: 41,0 (GPT-6 Luna Decisions: 40,6) |
| AA-Omniscience-Decision: non-hallucination rate | Microsoft-Decision-1: 39,8 |
| HLE-MultiChoice | Jev 1.13: 20,9 |
| When2Call | Celeris-1 Decision i GLiDE: 83,7 |
| WildGuardTest: średnia F1 | GLiDE: 95,1 |
Aktualizacja 19.10: po premierze do rankingu doszedł d1-ultra od Liquid AI i z 65,2 pkt prowadzi w całym indeksie (Jev 1.13 ma 57,5). Ma najwyższe wśród modeli decyzyjnych wyniki w trzech miarach: non-hallucination rate 84,5, When2Call 92,6 i WildGuardTest 95,4. W HLE-MultiChoice (15,0) i w trafności wiedzy (31,6) prowadzą nadal Jev 1.13 i d1. To dobrze pokazuje, że jedna nota nie zastąpi rozbicia na testy.
Źródła liczb, odczyt 13.10.2026: wykresy AA dla wiedzy i niewiedzy, HLE-MultiChoice, When2Call i WildGuardTest. Wartości z rankingu na żywo z jednym miejscem po przecinku, wśród 11 modeli decyzyjnych. Pełną tabelę wszystkich modeli w każdym teście zebrałem w przewodniku Modele decyzyjne AI, a omówienie premiery rankingu w newsie Artificial Analysis ocenia modele decyzyjne.
Jak czytać pewność modelu
AA wskazuje nadmierną pewność modeli decyzyjnych, szczególnie w zadaniach wiedzy i rozumowania; klasyfikacja oraz When2Call wypadają pod tym względem lepiej. Źródło: analiza kalibracji AA, 13.10.2026. Nie należy więc utożsamiać liczby przy odpowiedzi z potwierdzoną skutecznością w firmie.
Przykład objaśniający: jeśli odpowiedzi oznaczone prawdopodobieństwem około 0,9 okazują się poprawne znacznie rzadziej niż w dziewięciu przypadkach na dziesięć, model zawyża pewność w tej grupie. Sprawdzaj to na własnych przykładach, osobno dla istotnych kategorii. Wynik dla wiadomości po angielsku nie wyznacza automatycznie progu dla polskich reklamacji. W moim teście na 50 polskich zgłoszeniach Jev 1.13 miał rację w 37 z 39 przypadków z pewnością co najmniej 0,9, ale w pytaniu o pilność mylił się przy prawdopodobieństwach 0,49-0,6, czyli tuż przy domyślnym progu 0,5 (szczegóły w przewodniku).
Najczęstsze pytania
Czy Decision Index 58 oznacza 58% trafności?
Nie. Indeks łączy trafność, wskaźnik powstrzymania się od błędu i średnią F1. Nie jest bezpośrednią prognozą skuteczności na zgłoszeniach twojej firmy.
Czy HLE-MultiChoice to pełny Humanity’s Last Exam?
Nie. W tym porównaniu AA używa wyłącznie wskazanego podzbioru tekstowych pytań z gotowymi odpowiedziami. Wynik wymaga zachowania pełnej nazwy testu.
Czy When2Call sprawdza działanie całego agenta?
Sprawdza wybór właściwej reakcji w zadaniu. Nie zastępuje testu wykonania funkcji, poprawności argumentów ani końcowego stanu aplikacji.
Czy model decyzyjny może halucynować?
Może wybrać błędną odpowiedź z dozwolonej listy. Ograniczony format nie gwarantuje prawdy; szersze omówienie problemu znajduje się w tekście o halucynacjach AI.
Który benchmark jest najważniejszy dla firmy?
Najpierw wybierz ten, którego zadanie przypomina twój proces, a potem sprawdź model na danych firmowych. Dla wyboru następnej akcji szczególnie przydatnym punktem odniesienia jest When2Call, dla moderacji WildGuardTest.
Ujawnienie: model Jev od TypeSafe znam z wcześniejszego rozpoznania - we wrześniu napisałem do niego prostego klienta API z myślą o własnych narzędziach redakcyjnych. TypeSafe nie zamawiało ani nie opłaciło tego tekstu.
Źródła
- Artificial Analysis: Decision Index v1.0 - publikacja 13.10.2026, odczyt 13.10.2026.
- Artificial Analysis: metodologia Decision Index - odczyt 13.10.2026.
- Artificial Analysis: AA-Omniscience-Decision - odczyt 13.10.2026.
- Artificial Analysis: HLE-MultiChoice - odczyt 13.10.2026.
- Autorzy Humanity’s Last Exam: publikacja naukowa - odczyt 13.10.2026.
- NVIDIA: oficjalne repozytorium When2Call - odczyt 13.10.2026.
- Artificial Analysis: When2Call - odczyt 13.10.2026.
- Artificial Analysis: WildGuardTest - odczyt 13.10.2026.
- Ai2 i współautorzy: WildGuard - odczyt 13.10.2026.
Więcej o tym temacie: Megaherc - polski ranking modeli AI

Autor
Twórca i autor Promptowego, polskiego serwisu o sztucznej inteligencji. Codziennie śledzi premiery modeli, narzędzia i regulacje AI, i tłumaczy je prostym, konkretnym językiem.
Czytaj dalej
Artykuły · Microsoft-Decision-1: model decyzyjny Microsoftu. Ranking i testMicrosoft-Decision-1 najlepiej z modeli decyzyjnych mówi „nie wiem” i jest na froncie opłacalności. W moim teście trafił 44 z 47 polskich zgłoszeń.
Artykuły · JevBench i Decision Index: dwa rankingi modeli decyzyjnych i zasady ich porównywaniaJevBench i Decision Index mierzą inne rzeczy. Porównanie metod, aktualni liderzy, ograniczenia rankingów i sposób wyboru modelu do własnego testu.
Artykuły · Pewność modelu AI po ludzku: co znaczy 0,9 i jak sprawdzić kalibrację na własnych danychCo znaczy pewność 0,9? Kalibracja i ECE na rzeczywistych wynikach 50 zgłoszeń. Prosty Python oraz zasady wyboru progu automatyzacji.- przelomowy.plTest 10 modeli AI w zakupach: więcej rozumowania podnosi pewność, nie trafność wyboru
- generatornia.plŻyczenia świąteczne obrazek: jak zrobić kartkę AI na komunikatory
- przewagi.plAutomatyzacja faktur: zacznij od obiegu i wyjątków, potem dodaj AI
- jutropis.plKE konsultuje formularz oceny wpływu AI na prawa podstawowe


