basal lokalnie: Ollama, llama.cpp i Mac. Uruchomiłem polski model decyzyjny na RTX 4090

👁 124 przeczytań

basal-omni to polski model decyzyjny Remka Kinasa: nie pisze tekstu, tylko wybiera odpowiedź z listy i podaje, na ile jest pewny. Od 19 października mniejsze wersje da się uruchomić bez serwerowej karty, przez Ollamę, llama.cpp albo na Macu. Zrobiłem to na swoim RTX 4090 z wersją mini w pliku GGUF i puściłem przez nią ten sam zestaw polskich zgłoszeń, na którym wcześniej sprawdzałem Jeva i inne modele decyzyjne. Poniżej instrukcja, która u mnie zadziałała, wymagania sprzętowe i wyniki.

Która wersja na jaki sprzęt

Wszystkie pliki leżą na koncie Remek na Hugging Face, licencja Apache-2.0. Wersje GGUF i MLX obsługują tylko tekst, bez obrazów i dźwięku.

Autor wypuścił tylko kwantyzacje Q8_0 i Q6_K, bo tylko one przeszły jego bramkę zgodności z oryginałem. Na 10 606 decyzjach z 2-10 opcjami Q8_0 wybiera to samo co wersja bf16 w 98,7% przypadków, Q6_K w 97,1%. Q5_K_M i Q4_K_M odpadły. Największa wersja ultra (31 mld parametrów) nie ma pliku GGUF od autora.

Krok po kroku: Windows, karta NVIDIA, Ollama

Tak to zrobiłem 19 października na Windows 11 z Ollamą 0.40.5 (potrzebna co najmniej 0.35) i Pythonem 3.12 przez uv.

1. Środowisko i silnik basal 2.2. W trybie Ollama model liczy Ollama na karcie, więc wystarczyła mi wersja PyTorch na procesor:

   uv venv --python 3.12 env
   uv pip install --python env/Scripts/python.exe torch --index-url https://download.pytorch.org/whl/cpu
   uv pip install --python env/Scripts/python.exe "basal @ https://github.com/rkinas/basal/archive/refs/tags/v2.2.0.tar.gz"

2. Pobranie modelu (ok. 8 GB). Wystarczy plik Q8_0 i małe pliki obok: Modelfile, tokenizer, kalibracja, basal.json. Ja ściągnąłem je pojedynczo, prościej zrobić to narzędziem hf, które instaluje się razem z silnikiem:

   hf download Remek/basal-omni-1.0-mini-GGUF --local-dir basal-omni-1.0-mini-GGUF --exclude "*Q6_K*"

3. Rejestracja w Ollamie gotowym plikiem Modelfile z repozytorium:

   cd basal-omni-1.0-mini-GGUF
   ollama create basal-omni-1.0-mini:q8_0 -f Modelfile.Q8_0
   cd ..

4. Serwer basal przed Ollamą:

   basal-serve --model ./basal-omni-1.0-mini-GGUF --mode ollama --ollama-model basal-omni-1.0-mini:q8_0 --port 8000

5. Pierwsze pytanie (Python, sama biblioteka standardowa). Format jest ten sam co w API Jeva, endpoint /v1/systemone:

   import json, urllib.request
   body = {"state": "Od 9:00 panel nie działa, błąd 500, cały zespół sprzedaży stoi.",
     "questions": {
       "dzial": {"type": "choice", "instructions": "Do którego działu trafia zgłoszenie?",
         "criteria": {"platnosci": "płatności i faktury", "awaria": "coś nie działa technicznie",
                      "sprzedaz": "pytania przed zakupem"}},
       "pilne": {"type": "noul", "instructions": "Czy trzeba zareagować jeszcze dziś?",
         "criteria": {"true": "tak", "false": "nie"}}}}
   req = urllib.request.Request("http://127.0.0.1:8000/v1/systemone",
     json.dumps(body, ensure_ascii=False).encode("utf-8"),
     {"Content-Type": "application/json; charset=utf-8"})
   print(json.load(urllib.request.urlopen(req))["answers"])

Dostajesz wybraną opcję, prawdopodobieństwo każdej opcji i pewność (confidence), a przy pytaniu tak/nie prawdopodobieństwo odpowiedzi „tak”. Dwie pułapki, na które trafiłem albo które opisuje autor:

• Polskie znaki z konsoli Windows. Zapytanie wysłane curlem z Git Basha skończyło się błędem dekodowania UTF-8. Z Pythona, z jawnym kodowaniem, działa bez problemu.
• Zwykłe ollama run nic nie da. Model zwróci wtedy tylko swobodny tekst. Typowane odpowiedzi z prawdopodobieństwami liczy basal-serve, który czyta prawdopodobieństwa kodów opcji z jednego tokenu.
• Limity trybu Ollama: najwyżej 20 opcji w pytaniu i 4096 tokenów na zapytanie. Przy dłuższych dokumentach i do 255 opcji autor zaleca tryb llama.cpp.

Wariant llama.cpp i Mac

• llama.cpp w procesie: instalacja z dodatkiem basal[gguf] (llama-cpp-python 0.3.36 lub nowszy), potem basal-serve --model ./basal-omni-1.0-mini-GGUF --mode gguf --gguf basal-omni-1.0-mini-GGUF/basal-omni-1.0-mini-Q8_0.gguf --port 8000. Na karcie NVIDIA llama-cpp-python trzeba zbudować z obsługą CUDA. Tego wariantu nie testowałem.
• Mac z Apple Silicon: tryb --mode mlx z dodatkiem basal[mlx] i repozytorium -MLX albo GGUF przez Metal. Według autora mini Q8_0 działa na Macu z 16 GB pamięci, a na M4 Pro wersja MLX mini daje 0,73 decyzji na sekundę przy 8 równoległych zapytaniach i 173 ms na pojedyncze pytanie. Tego też nie sprawdzałem, nie mam Maca.

Mój test: 50 polskich zgłoszeń i 10 decyzji o narzędziach

Użyłem zestawu z 13 października, na którym sprawdzałem modele z rankingu Artificial Analysis: 50 zgłoszeń do sklepu internetowego (7 działów i pilność) oraz 10 rozmów, w których asystent ma zdecydować, czy odpowiedzieć sam, wywołać narzędzie, dopytać, czy odmówić. Pytania i klucz odpowiedzi są te same, nic nie zmieniałem pod basala. Tak jak wtedy, dział liczę z 47 zgłoszeń, bo trzy pozycje klucza okazały się dyskusyjne (więcej w przewodniku Modele decyzyjne AI). basal też je „przegrał”, tak jak wszystkie 11 modeli 13.10.

• Najmniejszy basal jest w środku stawki dużych modeli decyzyjnych z API. O jedno zgłoszenie lepiej od Jeva 1.13, o dwa gorzej od Microsoft-Decision-1 i Decidera. Przy tym ma 4 mld parametrów i działa na domowej karcie.
• Pilność bardzo dobrze: 47 z 50, wyżej był tylko Decider i GPT-6 Luna Decisions (po 48). basal nie uznał za pilne potrójnego obciążenia karty (prawdopodobieństwo 0,05) ani iskrzącego ekspresu (0,34), a niepotrzebnie oznaczył spam o kryptowalutach.
• Pomyłki działu: tort na wesele ze statusem „w przygotowaniu” (sprzedaż zamiast dostawy), iskrzący ekspres (awaria zamiast reklamacji), oferta baz mailingowych (sprzedaż zamiast spamu), zwrot pieniędzy za odwołane zamówienie i niedziałający kod rabatowy.
• Pewność trzeba sprawdzić na swoich danych. Przy pewności co najmniej 0,9 basal miał rację w 35 z 40 zgłoszeń, Jev w 37 z 39. Wśród pewnych pomyłek są oferta baz mailingowych (0,95) i niedziałający kod rabatowy (0,97). Dlatego ważne jest nowe narzędzie basal-calibrate, które dopasowuje progi do Twoich przykładów.
• Szybkość: mediana 137 ms na decyzję, pierwsze zapytanie 12 s (ładowanie modelu do karty). Modele z API mierzyłem 13.10 z Polski, razem z siecią (Jev 361 ms), więc to nie jest porównanie jeden do jednego, ale lokalnie nie płacisz za tokeny i dane nie wychodzą z komputera.

Test zajął 20 sekund pracy karty. Zrobiłem jedną serię, jedną kolejność opcji, z kalibracją dołączoną do pliku GGUF. Po teście zwolniłem model z pamięci.

Kiedy lokalny basal ma sens

• Dane nie mogą wyjść z firmy - zgłoszenia klientów, dokumenty, poczta.
• Decyzji jest dużo, a każda to wybór z listy: dział, pilność, temat, czy przepuścić tekst, które narzędzie wywołać.
• Masz kilkaset oznaczonych przykładów, żeby skalibrować progi i automatycznie przepuszczać tylko pewne decyzje.

Skąd ten model i jak wypadł w rankingu, opisałem w tekście basal-omni na 1. miejscu otwartych modeli w JevBench. Inne modele, które da się uruchomić u siebie, zebrałem w hubie Lokalne AI.