basal-omni: polski model decyzyjny Remka Kinasa na 1. miejscu otwartych modeli w JevBench

👁 139 przeczytań

Polski model decyzyjny basal-omni-1.0-ultra Remka Kinasa jest pierwszym wśród modeli z otwartymi wagami w JevBench, rankingu modeli, które nie piszą tekstu, tylko wybierają odpowiedź z listy i podają, na ile są pewne. Ma 82,5 pkt w Capability Score. Gdy doliczyć zamknięte usługi API, wyżej jest tylko kettei-fat firmy Sqwish (86,3). basal wyprzedza w tej tabeli zamknięte modele decyzyjne OpenAI i Microsoftu oraz Jeva od TypeSafe, czyli model, od którego wziął się cały gatunek. Sprawdziłem tablicę JevBench, karty modeli na Hugging Face i to, kto prowadzi ranking. Najmniejszą wersję uruchomiłem też na swoim komputerze.

Co ogłosił Remek Kinas

17 października Remek Kinas (@KinasRemek na X) napisał, że basal-omni jest „TOP1 na świecie w modelach otwartych” i TOP2 wśród wszystkich modeli w JevBench. Wpis kończy zdaniem: „Czyli można? Można! Polskie AI.” Podziękował też autorowi rankingu (@airesearch12) za niezależną ocenę. Według licznika X wpis miał 19 października ok. 266 tys. wyświetleń.

basal to projekt Kinasa. Ma własny silnik do uruchamiania (basal-serve) i dwie rodziny modeli: basal-2.0, zbudowaną na polskim Bieliku v3, oraz basal-omni, zbudowaną na Gemmie 4 od Google. basal-omni czyta tekst, obrazy i dźwięk (ultra bez dźwięku), ale tak jak inne modele decyzyjne nie generuje zdań. Dostaje stan, czyli np. treść zgłoszenia, i pytania z zamkniętymi odpowiedziami, a zwraca prawdopodobieństwo każdej opcji w jednym przebiegu. Ten styl pracy wymyśliło TypeSafe z modelem Jev. Pisałem o nim we wrześniu w tekście Jev od TypeSafe, a całą kategorię opisuję w przewodniku Modele decyzyjne AI.

Wynik w JevBench

JevBench daje każdemu systemowi te same 1500 decyzji i mierzy cztery rzeczy: trafność (Intelligence), kalibrację, czyli to, czy deklarowana pewność zgadza się z rzeczywistą trafnością, szybkość i koszt 1000 decyzji. Główną tabelę otwartych modeli układa Capability Score, czyli średnia trafności i kalibracji. Startować w niej mogą tylko systemy „klasy Jeva”, które kosztują najwyżej 2 razy więcej i odpowiadają najwyżej 2 razy wolniej niż Jev.

Na osobnej tablicy usług API, liczonej tą samą miarą, prowadzi kettei-fat od Sqwish (86,3), a dalej są m.in. d1-ultra od Liquid AI (80,5), Jev 1.13.0 (77,1), Jev 1.14.0 (75,0), OpenAI Decisions na GPT-6 Luna (73,5) i Microsoft-Decision-1 (72,2, wynik oznaczony jako wstępny). Z wynikiem 82,5 basal wypada więc na 2. miejscu, jeśli zestawić obie tablice.

Co to „TOP1” znaczy, a czego nie znaczy

• To pierwsze miejsce w Capability Score, czyli w trafności i kalibracji. W oficjalnym wyniku łącznym JevBench (Composite), gdzie po 25% ważą też szybkość i koszt, basal-omni-1.0-ultra jest 3. wśród 184 otwartych systemów. Wyżej są dwa dużo mniejsze modele 4B: H2O-Lightning-4B v1.1 i Torchcast Decision 4B, tańsze w działaniu, ale wyraźnie słabsze w trafności (60,0 i 60,3).
• Ranking zmienia się z wersji na wersję. Gdy basal trafił na tablicę 17.10 (wersja v1.6.28), notatka wydania mówiła o 4. miejscu z 45 w ówczesnym losowaniu zadań. Obecną kolejność pokazuje tablica v1.7.46 z 18.10.
• Szybkość ultry mierzy sam JevBench na własnej karcie: mediana 0,102 s. Koszt to 0,045 USD za 1000 decyzji, o 38% więcej niż w Jevie, ale w granicy klasy Jeva.
• W tabeli tylko ultra. Mniejsze basal-omni (mini i max) nie mają osobnego wyniku w JevBench.

Kto prowadzi JevBench

JevBench działa w serwisie Benchmark Heaven. Według strony i repozytorium na GitHubie to hobbystyczny projekt open source (licencja MIT) Floriana Standhartingera, który na X występuje jako @airesearch12, tym samym, któremu dziękował Kinas. Strona deklaruje, że porównuje modele „niezależnie od TypeSafe AI”. Nazwa i miara pochodzą od Jeva: limity kosztu i czasu liczone są względem Jeva, a sam Jev 1.13.0 jest pokazany jako punkt odniesienia, poza rankingiem. Na stronie nie znalazłem informacji o powiązaniach autora z TypeSafe ani z Kinasem. Część zadań jest jawna, a większość zapieczętowana, żeby modele nie mogły się ich nauczyć. Zmiany metody autor opisuje w notatkach do każdej wersji.

Warto pamiętać, że to jeden z kilku rankingów. W Decision Index od Artificial Analysis (stan z 19.10) prowadzi d1-ultra od Liquid AI z 65,2 pkt przed Jevem 1.13, a basal-omni nie był w nim mierzony.

Trzy rozmiary i własny benchmark autora

Werdykt v1 to ukryty zestaw decyzji po polsku i angielsku w 10 kategoriach, który przygotował sam autor, więc to wynik producenta, a nie niezależny pomiar. Według kart modeli ultra przy domyślnym progu 1% błędu przyjmuje automatycznie 56,8% decyzji, a resztę oddaje człowiekowi. Najsłabsze kategorie wszystkich wersji to reguły z dokładnymi progami i datami. Autor zaleca, żeby takie rzeczy liczyć w kodzie.

Od 19 października mini i max mają też wersje GGUF do Ollamy i llama.cpp, FP8 do vLLM oraz MLX do Maca. Weszły razem z silnikiem basal 2.2 i jego nowym narzędziem do kalibracji na własnych danych: basal 2.2 i basal-calibrate.

Kim jest Remek Kinas

Remigiusz Kinas pracuje jako Principal AI Researcher w Ingenix.ai, warszawskiej firmie budującej modele AI dla biologii i badań klinicznych. Jest jednym ze współtwórców polskich modeli Bielik i ma tytuł Kaggle Grandmaster. basal jest jego osobnym projektem: kod silnika leży na jego GitHubie (rkinas/basal), modele na koncie Remek na Hugging Face. W wydaniu 2.2 są też poprawki od kilku osób ze społeczności.

Sprawdziłem najmniejszą wersję

19 października uruchomiłem basal-omni-1.0-mini w wersji GGUF Q8_0 (7,9 GB) przez Ollamę na RTX 4090 i puściłem przez niego mój zestaw 50 polskich zgłoszeń do sklepu i 10 decyzji o narzędziach, na którym 13.10 sprawdzałem modele z rankingu AA. Mini trafił dział w 42 z 47 zgłoszeń, pilność w 47 z 50 i wybór narzędzia w 10 z 10. To o jedno zgłoszenie więcej niż Jev 1.13 na tym samym zestawie, przy medianie 137 ms na decyzję lokalnie. Instrukcja krok po kroku i wszystkie wyniki: basal lokalnie: Ollama, llama.cpp i Mac.

Dla kogo to jest

• Firmy, które klasyfikują dużo tekstu po polsku (zgłoszenia, maile, dokumenty) i nie chcą wysyłać danych do zewnętrznego API. Licencja Apache-2.0 pozwala na użycie komercyjne.
• Zespoły z agentami AI, które potrzebują szybkiej decyzji „wywołać narzędzie, dopytać czy odmówić” z liczbową pewnością.
• Nie do pisania tekstów. basal nie odpowie klientowi ani nie napisze podsumowania, od tego nadal jest zwykły model językowy.