Jev od TypeSafe: model decyzyjny, wynik w rankingu AA i mój test

👁 414 przeczytań

TypeSafe wypuścił 15 września 2026 model Jev, który nie pisze tekstu: odpowiada na pytania typami danych (wybór z listy, tak/nie, ocena na skali) i podaje, jak bardzo jest pewny. Cena to 0,042 USD za milion tokenów wejścia, wyjście jest darmowe. 13 października Jev 1.13 wygrał pierwszy niezależny ranking modeli decyzyjnych, Artificial Analysis Decision Index, z wynikiem 57,5 pkt - ale w wiedzy o świecie wypadł słabiej niż większość rywali, a w moim polskim teście trafił dział w 41 z 47 zgłoszeń, najmniej z modeli decyzyjnych.

Ujawnienie: Jeva znam z wcześniejszego rozpoznania - we wrześniu napisałem do niego prostego klienta API z myślą o własnych narzędziach redakcyjnych. TypeSafe nie zamawiało ani nie opłaciło tego tekstu. Ocenę opieram na niezależnych pomiarach Artificial Analysis i na moim teście, w którym wszystkie modele dostały te same zadania.

Jev 1.13 w rankingu Artificial Analysis

Artificial Analysis zmierzyło 11 modeli decyzyjnych w czterech testach po 25%: wiedza i halucynacje, rozumowanie, wybór narzędzi i klasyfikacja bezpieczeństwa. Wyniki Jeva na tle rywali:

• Mocna strona: rozumowanie. W HLE-MultiChoice żaden inny model decyzyjny nie przekracza 15 pkt.
• Słaba strona: wiedza. 34,6% trafności to mniej niż u większości rywali. Jev powinien dostawać fakty w stanie, a nie wyciągać je z pamięci.
• Dobrze przyznaje się do niewiedzy - drugi wynik po Microsoft-Decision-1.
• Nie jest najtańszy. Decider v1.1 27B i Microsoft-Decision-1 mają nieco niższy wynik przy koszcie niższym o 26-60%.
• Wszystkie modele decyzyjne, także Jev, są według AA zbyt pewne siebie przy pytaniach o wiedzę i rozumowanie. Przy klasyfikacji i wyborze narzędzi kalibracja jest względnie dobra.

Mój test po polsku (13.10.2026)

Ten sam zestaw dostało 9 modeli decyzyjnych i 2 małe LLM-y: 50 polskich zgłoszeń do sklepu (dział z 7 opcji i pilność) oraz 10 rozmów, w których asystent wybiera, czy wywołać narzędzie, dopytać, odpowiedzieć sam czy odmówić. Pełne wyniki są w przewodniku Modele decyzyjne AI.

• Dział: 41 z 47 jednoznacznych zgłoszeń - najmniej wśród modeli decyzyjnych (najlepsze miały 44, Claude Haiku 5.5 45). Jev mylił się przy sprawach na granicy działów: pusta paczka, iskrzący ekspres, niedziałający kod rabatowy.
• Pewność działa jako filtr. Przy pewności co najmniej 0,9 Jev miał rację w 37 z 39 zgłoszeń, a jego błędy miały zwykle pewność 0,6-0,8.
• Pilność: 46 z 50, błędy przy prawdopodobieństwie 0,49-0,6, czyli tuż przy progu 0,5. Próg warto ustawić na własnych danych.
• Wybór narzędzia: 10 z 10.
• Czas i koszt: mediana 361 ms z Polski przez OpenRouter. Jev liczy polski tekst w większej liczbie tokenów niż rywale (średnio 637 na zadanie wobec 273 u Microsoft-Decision-1), więc milion takich zadań kosztowałby około 26,8 USD - więcej niż u Decidera (7,8 USD) czy Microsoft-Decision-1 (11,5 USD).

Co TypeSafe samo pisze o słabościach

TypeSafe publikuje dla wersji 1.13 stronę „jaggedness”, czyli listę typów zadań, w których model się myli. Są na niej m.in.:

• liczenie i arytmetyka,
• daty,
• wieloetapowe wnioskowanie,
• wrażliwość na kolejność opcji,
• podatność na podchwytliwy kontekst.

Według dokumentacji 1.13 to jedyna opublikowana wersja i nie ma listy zmian. Przetwarzanie danych odbywa się w USA (umowa powierzenia ze standardowymi klauzulami umownymi), regionu UE nie ma - przy danych osobowych klientów warto to wziąć pod uwagę.

Dlaczego to w ogóle powstało

Argument twórców jest prosty i trudno się z nim nie zgodzić. Duże modele językowe trenuje się metodą RLHF, czyli uczenia ze wzmocnieniem na podstawie ludzkich preferencji. Efekt: modele są znakomite w wykonywaniu poleceń i brzmią przekonująco. Ale ta sama metoda daje trzy skutki uboczne, które TypeSafe wymienia wprost: mode dropping, nadmierną pewność siebie i brak niezawodności. Dlatego przy modelach językowych zawsze musi stać człowiek.

Gdy potrzebujesz, żeby model podjął decyzję, którą skonsumuje Twój kod, pojawia się rozjazd: zmuszasz system do generowania tekstu, żeby wyprodukował strukturę, a potem parsujesz ten tekst z powrotem na coś, na czym kod może polegać. To jest opis problemu, na który sam trafiłem w tym tygodniu - generator tekstów zwracał JSON, który się nie parsował, bo długa treść łamała strukturę łańcucha. Musiałem napisać własny, tolerancyjny parser.

Trzy prymitywy - cała powierzchnia API

To wszystko. Trzy typy pytań, które można mieszać w jednym wywołaniu API.

Najciekawsza część jest w tym, jak są liczone: każde pytanie jest oceniane równolegle i w izolacji wobec tego samego stanu. Konsekwencje są dwie i obie mają znaczenie praktyczne. Po pierwsze, dodanie kolejnych pytań prawie nie zmienia czasu odpowiedzi. Po drugie - i to jest ważniejsze - nie ma efektu gnicia kontekstu, bo pytania nie widzą się nawzajem.

Liczby producenta z premiery (wrzesień 2026)

To są liczby producenta z materiału o nazwie „Proof”, dotyczące zadań typu System One - czyli takich, pod które ten model powstał. Nie są to wyniki niezależnego benchmarku i nie oznaczają, że Jev jest 444 razy tańszy od modelu językowego w czymkolwiek. Oznaczają, że przy zadaniach decyzyjnych porównanie wygląda tak.

W jednym z przykładów w dokumentacji: 13 pytań do briefingu regulacyjnego na podstawie artykułu z Wikipedii, wrzuconych jako jedno wywołanie TypeSafe zamiast osobnych zapytań, wyszło 11,5× taniej i 9,6× szybciej bez zmiany odpowiedzi.

Zasada, która decyduje, czy to zadziała

To jest rzecz, której nie da się obejść i w której siedzi cała trudność: pytania muszą być atomowe.

Dokumentacja opisuje właściwe pytanie jako takie, na które bardzo kompetentna osoba odpowie w kilka sekund, mając odpowiedni kontekst. Jeśli pytanie wymaga dłuższego rozumowania albo waży kilka niezależnych czynników - trzeba je rozłożyć.

Przykład wprost z dokumentacji: zamiast pytać „oceń ten pomysł na startup”, zapytaj osobno o wielkość rynku, wykonalność techniczną i wyróżnienie na tle konkurencji, a wyniki połącz własnym wzorem w kodzie.

I tu jest prawdziwa zaleta, którą łatwo przeoczyć: gdy zmieniają się priorytety, zmieniasz współczynnik w kodzie zamiast przepisywać prompt. To przenosi logikę biznesową z tekstu, którego nie da się przetestować, do kodu, który można objąć testami.

Gdzie to realnie pasuje, a gdzie nie

Czego bym nie kupował bez sprawdzenia

To jest opinia. Hasło „zero halucynacji” ze strony głównej jest sformułowane mocniej, niż wynika z opisu obok - a opis mówi, że każda decyzja ma oszacowanie pewności, więc software może działać przy wysokiej i eskalować przy niskiej. To jest bardzo sensowny mechanizm, ale to nie to samo co brak pomyłek. W często zadawanych pytaniach producent ma zresztą osobny punkt „Czy Jev może się mylić?”, co sugeruje uczciwą odpowiedź w środku.

Druga rzecz: ceny. W FAQ jest pytanie, czy są tymczasowe albo dotowane. Przy modelu biznesowym opartym na cenie 238 razy niższej od konkurencji to jest pytanie, na które trzeba znać odpowiedź przed wpięciem czegokolwiek w produkcję.

Jak zacząć

1. Załóż konto i odbierz klucz API w panelu.
2. Zacznij od Playground - zanim napiszesz kod, sprawdź, czy Twoje pytanie w ogóle da się zadać atomowo.
3. Jeśli pracujesz w Claude Code: claude plugin marketplace add typesafe-ai/skills, potem claude plugin install typesafe-ai@typesafe-ai.
4. Weź jeden wąski przypadek z własnego systemu i zmierz go przeciwko temu, co masz teraz. Nie przepinaj wszystkiego naraz.

Najczęstsze pytania

Czym jest model System One?

To klasa modeli budowana pod decyzje wewnątrz oprogramowania, a nie pod rozmowę z człowiekiem. Jev jest pierwszym publicznym modelem tej klasy od TypeSafe.

Czym to się różni od trybu JSON i structured outputs?

Tryb JSON wymusza format na modelu, który i tak generuje tekst. Jev w ogóle nie generuje tekstu - zwraca wartość typu i rozkład prawdopodobieństw. Producent ma to jako osobne pytanie w FAQ, bo to jest najczęstsze nieporozumienie.

Co to jest RLCD?

Reinforcement Learning for Calibrated Decisions - metoda uczenia nastawiona na skalibrowane decyzje, w opozycji do RLHF, które optymalizuje pod ludzkie preferencje.

Czy Jev zastąpi modele językowe?

Nie i nie taki jest zamiar. To narzędzie do innego zadania. Realistyczny układ to model językowy do treści i Jev do rozstrzygnięć, które konsumuje kod.

Ile kosztuje Jev?

0,042 USD za milion tokenów wejścia (42 USD za miliard), wyjście jest darmowe - według dokumentacji TypeSafe i OpenRoutera, stan na 13 października 2026. Milion zadań w rankingu Artificial Analysis kosztował 41,5 USD.

Który model decyzyjny jest najlepszy?

W Artificial Analysis Decision Index z 13.10.2026 prowadzi Jev 1.13 (57,5 pkt). Przy podobnym wyniku tańsze są Decider v1.1 27B od Perplexity (53,1 pkt, 16,5 USD za milion zadań) i Microsoft-Decision-1 (53,8 pkt, 30,7 USD).

Aktualizacja 19.10: w niezależnym rankingu JevBench Jev 1.13.0 ma 77,1 pkt, a polski otwarty basal-omni-1.0-ultra 82,5 - szczegóły. Wszystkie modele decyzyjne zebrałem w przewodniku Modele decyzyjne AI.

Czytasz Promptowego częściej? Dodaj go do preferowanych źródeł w Google, a nowe teksty będą wyżej w Twoich wynikach.

Pytania czytelników

Jev ai co to jest?

Jev to model AI stworzony przez TypeSafe, który zamiast generować tekst zwraca decyzje w formie typowanych danych - wartości logicznych, wyborów z listy lub ocen punktowych - wraz z poziomem pewności. Działa przez trzy typy pytań: Choice (wybór opcji), Score (ocena według rubryki) i Noul (prawda/fałsz). Przeznaczony jest do automatyzacji, gdzie kod ma podejmować wiele małych decyzji, a nie do zadań wymagających pisania tekstu.

Jev ai do czego służy i kiedy warto go używać?

Jev sprawdza się przy klasyfikacji zgłoszeń, moderacji treści, routingu zapytań i ocenianiu elementów według stałych kryteriów. Kluczowa zasada: pytania muszą być atomowe - takie, na które kompetentna osoba odpowie w kilka sekund. Jev nie generuje tekstu, streszczeń ani tłumaczeń. Nie nadaje się też bezpośrednio do zadań wymagających długiego rozumowania - trzeba je najpierw rozłożyć na prostsze pytania składowe.

// czytaj dalejbasal-omni: polski model decyzyjny Remka Kinasa w JevBench - wynik, wersje i mój testArtykułyPerplexity Decider v1.1 27B: najtańszy model decyzyjny w rankinguArtykułyMicrosoft-Decision-1: model decyzyjny Microsoftu. Ranking i testArtykuły