Bielik, Llama czy Mistral po polsku? Test 5 poleceń na RTX 4090

👁 187 przeczytań

Dałem tym samym pięć zwykłych poleceń po polsku (streszczenie, mail, poprawa błędów, wyjaśnienie dla dziecka i tłumaczenie) dziesięciu otwartym modelom: Bielikowi, Llamie i Mistralowi w kilku rozmiarach, plus Gemmie 4 i nowemu Muse Glimmer od Mety dla porównania. Cztery modele działały lokalnie na RTX 4090, siedem w chmurze (Ministral 3 8B w obu miejscach). Wygrał Muse Glimmer 30B (8,67 na 10), z modeli lokalnych najlepsza była Gemma 4 12B (8,33), a Bielik 11B miał najczystszą polszczyznę wśród lokalnych, ale przegrał na trzymaniu się poleceń. Pozostałe lokalne modele i tabelę sprzętu od 8 do 24 GB zebrałem w przewodniku Lokalne AI.

Jak testowałem

• Polecenia: 5 zadań z codziennej pracy, każde z twardymi warunkami: streszczenie artykułu o strefie parkowania w dokładnie 3 punktach i maks. 60 słowach, mail do administratora budynku (maks. 100 słów, podpis „Anna Nowak”), korekta tekstu z 10 celowo wstawionymi błędami, wyjaśnienie 8-latkowi, dlaczego niebo jest niebieskie (maks. 5 zdań, jedno porównanie), i tłumaczenie z angielskiego akapitu z czterema idiomami.
• Lokalnie: Ollama 0.35.1 na RTX 4090 24 GB, Windows 11. Modele: Bielik 11B v3 (Q8_0), Llama 3.1 8B (Q4_K_M), Ministral 3 8B (Q4_K_M), Gemma 4 12B (Q4_0, myślenie wyłączone). Temperatura 0,3, kontekst 8192 tokeny.
• W chmurze: przez OpenRouter, temperatura 0,3: Mistral Medium 3.5 i Small 4 (bez rozumowania), Mistral Large 3, Ministral 3 8B, Llama 3.3 70B, Llama 4 Maverick, Muse Glimmer 30B (z domyślnym rozumowaniem).
• Ocena: wszystkie 11 odpowiedzi na każde polecenie dostał w losowej kolejności i bez nazw modeli Claude Opus 5.5 jako sędzia, z kluczem błędów do korekty i opisem pułapki w tłumaczeniu. Oceniał w skali 1-10 poprawność językową, wykonanie polecenia i naturalność. Wynik to średnia z trzech ocen i pięciu zadań. Liczbę poprawionych błędów w korekcie i długości tekstów policzyłem dodatkowo skryptem, a wszystkie odpowiedzi przeczytałem sam.
• Jedna próba na model. Przy tak małym teście różnica 0,3 pkt to szum. Traktuj wyniki jako obraz zachowania modeli na typowych zadaniach, a nie ranking do drugiego miejsca po przecinku.

Wyniki

Tabela ma 11 wierszy, bo Ministral 3 8B wystąpił dwa razy: lokalnie w Ollamie i przez API Mistrala. Wersja z API wypadła gorzej, choć to ten sam model w wyższej precyzji. Przy jednej próbie losowość generowania potrafi przeważyć różnicę kwantyzacji, co jest kolejnym powodem, żeby nie przywiązywać się do miejsc w tabeli.

Wyniki w poszczególnych zadaniach

Prędkość na RTX 4090

Prędkość to średnia z trzech generacji po 450 tokenów (opowiadanie po polsku) w Ollamie 0.35.1, pamięć według polecenia ollama ps. Dla Gemmy podaję średnią z pięciu zadań testowych, bo osobny pomiar zakłócił inny proces, który w tym czasie zajął kartę w 100%. Wyniki zgadzają się z moimi wcześniejszymi pomiarami w tekście Ollama (Bielik 67, Gemma 91 tokenów na sekundę). Bielik jest najwolniejszy, bo testowałem go w dokładniejszej kwantyzacji Q8_0 - w Q4_K_M (6,7 GB) byłby szybszy, za cenę odrobiny jakości. Pierwsza odpowiedź pojawiała się po 0,01-0,02 s od wysłania polecenia, gdy model był już w pamięci.

Co wyszło w poszczególnych zadaniach

Streszczenie: limit 60 słów łamała połowa

Warunek był prosty: 3 punkty i maksymalnie 60 słów. Trzy punkty zrobili wszyscy, ale Mistral Large 3, Mistral Small 4, oba Ministrale i Bielik przekroczyli limit słów (od 64 do 81 według mojego skryptu, który liczy też liczby; sędzia doliczył się od 63 do 73). Llama 3.3 70B zrobiła odwrotnie: oddała 17 słów, gubiąc Gniezno, datę, liczbę ulic i wynik głosowania. Najlepiej wyważony był Mistral Medium 3.5 i Muse Glimmer.

Mail: wołacz i rodzaj gramatyczny

Tu najlepiej wypadły Mistral Large 3 (9,3) i Gemma 4 (9,0). Błędy, które powtarzały się w słabszych odpowiedziach:

• „Szanowny Panie Tomasz” zamiast „Panie Tomaszu” (Mistral Medium 3.5),
• „Szanowny Panie Tomaszu Wiśniewskim” - narzędnik zamiast wołacza (Llama 3.3 70B),
• „Z przykryściem zwracam się” - słowo, które nie istnieje (Ministral 3 8B lokalnie),
• „skontaktowałem się z kurierem” w mailu podpisanym przez Annę i do tego wymyślony fakt (Ministral 3 8B przez API).

Bielik napisał poprawnego, uprzejmego maila, ale dopisał uogólnienie „sytuacja utrudnia dostarczanie przesyłek”, którego nie było w poleceniu.

Korekta: prawie wszyscy znaleźli 10 z 10

Dziesięć błędów (poszłem, 38 złoty, na pizze, wogóle, napewno i inne) poprawiło osiem z jedenastu wariantów, w tym Bielik, Gemma i wszystkie duże modele z chmury. Llama 3.1 8B zostawiła „poszłem”, Ministral lokalnie „na prawdę”. Mistral Medium 3.5 poprawił wszystko, ale sam wprowadził nowy błąd („szeleszczył” zamiast „szeleścił”) i zmienił „w kinie” na „do kina”, za co sędzia obniżył mu ocenę do 6,3.

Wyjaśnienie dla dziecka: najtrudniejsze zadanie

Tu modele najczęściej mijały się z fizyką. Bielik napisał, że „niebieski kolor jest najjaśniejszy” (a chodzi o to, że jest najsilniej rozpraszany), Llama 3.1 8B - że „niebo odbija światło”, Mistral Small 4 - że światło rozpraszają „kropelki wody i pyłki”. Do tego warunek „jedno porównanie” złamała większość: Mistral Large 3 użył trzech (kredki, piłeczki, brokat). Trzy modele Mistrala z chmury dodały na końcu emotikony, o które nikt nie prosił. Najlepsze były Gemma 4 i Muse Glimmer (po 8,0).

Tłumaczenie: pułapka „by a hair”

W zdaniu „we still missed the deadline by a hair” zespół spóźnił się o włos. Bielik, Mistral Large 3, Mistral Small 4 i Llama 4 Maverick napisali „ledwo zdążyliśmy”, czyli odwrócili sens - przy idealnej polszczyźnie. Poprawnie oddały to Muse Glimmer („spóźniliśmy się z terminem o włos”), Mistral Medium 3.5 i Gemma 4, która jednak zrobiła literówkę „spótniliśmy”. Llama 3.1 8B zaczęła od „Przyjdźmy do rzeczy” zamiast „Przejdźmy”.

Wnioski dla każdej rodziny

• Bielik 11B v3: najczystszy język wśród modeli lokalnych (poprawność 8,8, tyle co Mistral Large 3 w chmurze) i komplet w korekcie. Słabiej z wykonaniem: przekroczony limit słów, błąd merytoryczny w wyjaśnieniu dla dziecka, odwrócony sens idiomu. To ten sam obraz co we wrześniowym teście 13 zadań. Więcej w przewodniku Bielik.
• Llama: mała Llama 3.1 8B nie nadaje się do polskich tekstów bez poprawek (5,33). Duże wersje z chmury są poprawne, ale nie lepsze od Bielika, a 70B miała kłopot z odmianą. Następca Llamy, Muse Glimmer 30B, wygrał cały test. Więcej w przewodniku Llama.
• Mistral: duże modele (Large 3, Small 4, Medium 3.5) mieszczą się w przedziale 7,1-7,7, czyli przyzwoicie, ale bez przewagi nad lokalnym Bielikiem. Ministral 3 8B był najsłabszy w całym teście. Więcej w przewodniku Mistral.
• Niespodzianka: Gemma 4 12B od Google, model na kartę z 8 GB, wyprzedziła wszystkie modele Mistrala i Llamy, także te z chmury. Potwierdza to wynik z mojego testu 7 lokalnych modeli.

Który model wybrać do polskich tekstów

• Lokalnie, karta 8-12 GB: Gemma 4 12B. Jeśli zależy Ci na polskim modelu i licencji Apache 2.0 - Bielik 11B w Q4_K_M (6,7 GB).
• Lokalnie, karta 24 GB: Bielik 11B w Q8_0 albo Muse Glimmer 30B (18 GB), którego w tym teście sprawdziłem tylko w chmurze.
• Przez API, tanio: Muse Glimmer 30B (0,35 i 1,50 USD za milion tokenów) albo Mistral Large 3 (0,50 i 1,50 USD).
• Nie wybieraj do polskich tekstów modeli 8B Llamy i Mistrala.

Ile to kosztowało

Odpowiedzi ośmiu modeli z chmury kosztowały razem 0,0215 USD, z czego połowę zjadł Muse Glimmer przez długie rozumowanie (0,0101 USD). Ocena sędziego, czyli Claude Opus 5.5 czytający 55 odpowiedzi, kosztowała 0,40 USD - dwadzieścia razy więcej niż sam test. Modele lokalne kosztowały tylko prąd: karta pobierała przy generowaniu od około 280 W (Bielik) do 320 W (Llama 3.1 8B), a każda odpowiedź trwała od 1 do 4 sekund.

Najczęstsze pytania

Który otwarty model najlepiej pisze po polsku?

W tym teście Muse Glimmer 30B od Mety (8,67 na 10), a z modeli, które uruchomisz na karcie 8-12 GB, Gemma 4 12B (8,33). Bielik 11B ma najczystszą polszczyznę wśród modeli lokalnych, ale gorzej trzyma się poleceń.

Bielik czy Llama?

Do polskich tekstów Bielik. Bielik 11B dostał 7,60, a Llama 3.1 8B 5,33 i dopiero duże Llamy z chmury zbliżają się do Bielika (Llama 4 Maverick 7,33).

Bielik czy Mistral?

Lokalnie Bielik wyraźnie wygrywa z Ministralem 3 8B (7,60 wobec 5,07). Duży Mistral Large 3 w chmurze ma podobny wynik (7,67), ale wymaga API, a Bielik działa u Ciebie za darmo.

Czy wyniki są wiarygodne?

To jedna próba na model, pięć zadań i jeden sędzia. Dobrze pokazuje typowe błędy (wołacz, limity, idiomy, fizyka), ale różnice poniżej 0,5 pkt mogą wynikać z losowości. Szerszy test 13 zadań z trzema sędziami jest w rankingu AI do pisania po polsku.

Źródła i data sprawdzenia

• Własny test 3 października 2026: Ollama 0.35.1, RTX 4090 24 GB, Windows 11; OpenRouter (dostawcy wskazani automatycznie)
• Modele lokalne: biblioteka Ollamy (llama3.1:8b, ministral-3:8b), pliki GGUF SpeakLeash (Bielik-11B-v3.0-Instruct Q8_0) i Google (gemma-4-12b-it Q4_0)
• Ceny modeli na OpenRouter
• Sędzia: Claude Opus 5.5 przez OpenRouter, temperatura 0, odpowiedzi anonimowe w losowej kolejności

Sprawdzone 3 października 2026.

// czytaj dalejOpen-source kontra modele własnościowe - Czy Mistral AI i Llama 3 zagrażają komercyjnym gigantom?PublicystykaGGUF i kwantyzacja: Q4_K_M, Q6_K czy Q8_0? Test Bielika na RTX 4090ArtykułyGrok 4.7 po polsku: nie ma benchmarków, jest test na kwadransWarsztat