JevBench i Decision Index: dwa rankingi modeli decyzyjnych i zasady ich porównywania

👁 121 przeczytań

Basal prowadzi w jednej tabeli, d1-ultra w drugiej, a Jev był liderem przy premierze Decision Index. To nie musi być sprzeczność. JevBench i Artificial Analysis inaczej dobierają zadania, uczestników i składniki wyniku. Zanim pierwsze miejsce stanie się argumentem za zakupem albo wdrożeniem, warto ustalić, co dokładnie wygrał dany model. Stan opisany poniżej został sprawdzony 19 października 2026 roku.

Kto prowadzi oba rankingi

JevBench działa w Benchmark Heaven, projekcie Floriana Standhartingera. Serwis opisuje się jako hobbystyczny i udostępnia kod na licencji MIT. Przy rankingu deklaruje niezależność od TypeSafe AI. To deklaracja organizatora, a nie wynik zewnętrznego audytu. Nazwa JevBench oraz używanie Jeva jako punktu odniesienia nie oznaczają, że ranking prowadzi producent Jeva.

Decision Index przygotowuje firma Artificial Analysis, która deklaruje samodzielne prowadzenie ewaluacji. Różnica między projektem hobbystycznym a firmą pomaga zrozumieć zaplecze obu inicjatyw, ale sama nie rozstrzyga wiarygodności wyników. Ważniejsze są opis pomiaru, wersja testu i możliwość odróżnienia wyniku bieżącego od archiwalnego.

JevBench ma więcej niż jedną kolejność

Podstawowy przebieg JevBench obejmuje 1500 decyzji. Serwis pokazuje trafność, kalibrację, szybkość i koszt. Trzeba jednak czytać oznaczenia wierszy: na tablicy API są też ponowne przebiegi na 600 decyzjach z procedurą wyrównywania wyników oraz wpisy oznaczone jako wstępne. Nie każdy widoczny rekord jest identycznym eksperymentem.

Capability Score jest średnią Intelligence i Calibration. Dotyczy systemów „klasy Jeva”, mieszczących się w domyślnych limitach: najwyżej dwukrotność kosztu i mediany opóźnienia względem referencji Jev v1.5. Zmiana tych ograniczeń może zmienić zwycięzcę. Intelligence jest miarą skorygowaną względem przypadku, więc nie należy odczytywać jej po prostu jako procentu poprawnych odpowiedzi.

Composite uwzględnia również szybkość i koszt. Oficjalna wersja używa równych wag czterech osi i średniej harmonicznej, z dodatkowymi karami za niskie wyniki wybranych osi. Model może zatem wygrać Capability, a przegrać Composite. Przed udostępnieniem zrzutu ekranu warto sprawdzić nazwę wyniku oraz ustawione filtry.

Decision Index waży zadania, nie koszty

Decision Index przyznaje po 25% czterem testom: AA-Omniscience-Decision bada wiedzę i unikanie halucynacji, HLE-MultiChoice rozumowanie, When2Call decyzje o narzędziach, a WildGuardTest klasyfikację bezpieczeństwa. Kalibracja, czas i koszt mają osobne wykresy, lecz nie są czterema składnikami punktacji indeksu. Szczegóły zadań są w osobnym omówieniu benchmarków Decision Index.

Liderzy sprawdzeni 19 października

Przy oficjalnych limitach Capability w JevBench wśród otwartych modeli prowadzi basal-omni-1.0-ultra z 82,5 pkt. Na tablicy API liderem jest kettei-fat z 86,3 pkt. Są to wyniki konkretnej miary, nie dowód przewagi w dowolnym zadaniu ani procent poprawnych decyzji.

Aktualne dane wykresu AA zawierają d1-ultra z wynikiem 65,2481 pkt, czyli 65,25 po zaokrągleniu. To najwyższy wynik wśród zapisanych tam modeli decyzyjnych. Jev 1.13 ma 57,5040 pkt, a Jev 1.14 ma 57,0739. Artykuł premierowy AA z 13.10 nadal opisuje zwycięstwo starszego Jeva; sam zaznacza, że dotyczy dnia premiery. Dlatego omówienie startu Decision Index trzeba czytać z jego datą.

W aktualnych danych tej strony AA nie ma basal-omni ani kettei-fat. Ich brak nie jest przegraną z d1-ultra. Nie ma podstaw, żeby porównywać 82,5 w JevBench z 65,25 w Decision Index przez zwykłe odjęcie punktów. To odrębne skale.

Skąd biorą się różnice

Inny zestaw pytań premiuje inne umiejętności. Model dobry w klasyfikacji może wypaść słabiej przy wiedzy i rozumowaniu. Dodanie kalibracji do wyniku też zmienia kolejność: trafna odpowiedź i trafna odpowiedź z rozsądną pewnością nie są tym samym kryterium. Konstrukcję samego Jeva opisuje tekst o TypeSafe i System One.

Różni się również pomiar czasu. JevBench rozdziela otwarte wagi uruchamiane na sprzęcie organizatora i usługi API mierzone jako oferowane endpointy. Przy lokalnych modelach pokazuje także szacowanie opóźnienia z narzutem sieciowym. AA opisuje czas jako medianę na zadanie. Bez sprawdzenia granic pomiaru liczba milisekund z jednej tabeli nie jest obietnicą takiego samego czasu w aplikacji.

Krytyka: kolejność nie musi przenieść się do aplikacji

Anish Shrestha opisał na dev.to własny eksperyment z otwartymi odpowiednikami Jeva. Kandydaci wyglądający lepiej w publicznej tabeli nie uzasadnili zmiany modelu w jego usłudze. Kryterium stanowiło pokrycie przy ograniczeniu błędu do 5%, a nie sama ogólna trafność. Autor wskazał też niepewność co do zgodności wersji jednego z modeli.

To relacja z konkretnego testu, nie dowód, że JevBench jest bezwartościowy. Pokazuje jednak sensowne ograniczenie rankingu: inny zestaw zadań i inna funkcja celu mogą dać inną kolejność. Nie należy też przenosić krytyki dawnej wersji tabeli na wszystkie późniejsze pomiary bez sprawdzenia zmian.

Jak użyć obu tabel do wyboru modelu

• Wybierz kilku kandydatów spełniających wymagania dotyczące wdrożenia i dostępności. Oddziel uruchomienie własnych wag od zakupu API.
• Przygotuj 50-200 własnych, oznaczonych przykładów na pierwszy test. Uwzględnij trudne przypadki i jednoznaczną zasadę oceny.
• Podawaj wszystkim modelom te same informacje i opcje. Zapisuj wersję, instrukcję, odpowiedź, pewność oraz czas całego wywołania.
• Porównaj trafność, koszt oraz udział spraw przyjętych przy dopuszczalnym błędzie. Próg sprawdź na odłożonych danych; mała próbka nie potwierdza niskiego ryzyka.

Oba rankingi sprawdzają się jako sito przed własnym eksperymentem. JevBench daje szeroki wybór otwartych systemów i różne sposoby ważenia wyników. AA pozwala spojrzeć na ustalony zestaw czterech testów. Wybór do konkretnego zadania powinien wynikać z własnych odpowiedzi i ograniczeń, opisanych szerzej w przewodniku modele decyzyjne AI.