Najlepszy lokalny model AI po polsku: test 10 modeli na 8-24 GB VRAM

👁 116 przeczytań

Najlepszy lokalny model AI po polsku zależy od pamięci karty: na 24 GB to Gemma 4 31B (11 z 12 polskich zadań, 43 tokeny na sekundę), na 16 GB Qwen 3.8 27B, a na 8 i 12 GB Gemma 4 12B (10 z 12 zadań przy 7,5 GB pamięci). Sprawdziłem 10 modeli w Ollamie na RTX 4090: 9 z nich 3 października 2026, Gemmę 4 31B 17 października. Mierzyłem jakość, pamięć karty przy krótkim i długim kontekście, szybkość i spadek, gdy model nie mieści się w karcie. Szerszy przegląd jest w przewodniku Lokalne AI.

Co wybrać: odpowiedź w jednej tabeli

Szybkość dla 8, 12 i 16 GB to symulacja na RTX 4090. Na prawdziwej, słabszej karcie będzie niższa.

Czym ten test różni się od innych na blogu

Test 7 lokalnych modeli AI po polsku z 26 września sprawdzał pisanie (13 zadań, trzech sędziów, porównanie z chmurą), a Bielik, Llama czy Mistral po polsku z 3 października 5 poleceń. Tutaj są zadania z jedną poprawną odpowiedzią oraz to, co decyduje przy zakupie karty: pamięć i szybkość.

Jak mierzyłem

RTX 4090 24 GB, i9-14900KF, 64 GB RAM, Windows 11.

• Pamięć karty: różnica wskazań nvidia-smi przed załadowaniem i w szczycie generowania, przy kontekście 4096, 8192 i 32 768 tokenów.
• Szybkość: tokeny na sekundę przy pisaniu poradnika po polsku (do 500 tokenów), z modelem już w pamięci.
• Jakość: 12 zadań sprawdzanych automatycznie (odmiana, korekta, liczebniki, frazeologia, wiedza o Polsce, JSON), temperatura 0, myślenie wyłączone. Do tego 2 teksty ocenione w ciemno przez Claude Sonnet 5.5 w skali 1-10 (sześć modeli 3 października, cztery 17 października).
• Mniejsze karty: ograniczałem liczbę warstw na karcie (num_gpu) tak, by model zajmował najwyżej pojemność karty minus 1 GB na system. Resztę liczył procesor.

Mój test: jakość po polsku

„Sędzia” to średnia z trzech ocen (poprawność, naturalność, wykonanie polecenia) dla dwóch tekstów. Przy dwóch tekstach to wskazówka, nie ranking: Gemma 4 31B straciła głównie za mail, w którym dopisała, że kod rabatowy przyjdzie osobno, choć polecenie zabraniało obiecywać czegoś więcej.

• Żaden model nie napisał sensownego zdania ze wszystkimi polskimi znakami (ą, ć, ę, ł, ń, ó, ś, ź, ż). Zawsze brakowało liter, a Bielik 4.5B wstawił „ńędzy”.
• Obie siedziby województwa lubuskiego (Gorzów Wielkopolski i Zielona Góra) podały tylko Gemma 4 31B, Qwen 3.8 27B i GPT-OSS 20B.
• Liczebnik „od roku tysiąc dziewięćset osiemdziesiątego czwartego” odmieniły dobrze Gemma 4 31B, Gemma 4 12B, Gemma 4 E4B i Bielik 11B Q4_K_M. Qwen napisał „osiemdziesiąt cztery”.
• Bielik 11B w Q4_K_M i Q8_0 różnią się o jedno zadanie, więc traktuję je jako równe. Q4_K_M jest o połowę mniejsza i szybsza.

Ile pamięci karty zajmuje każdy model

Najważniejsza obserwacja: długi kontekst kosztuje bardzo różnie. Gemma 4 12B przy 32 tysiącach tokenów zajmuje tylko 0,8 GB więcej niż przy 4 tysiącach, a Bielik 11B w Q4_K_M aż 5,6 GB więcej. Bielik, który przy krótkim kontekście mieści się w 8 GB, przy długim dokumencie potrzebuje karty 16 GB. Wzory na pamięć rozpisałem w tekście ile VRAM potrzeba.

Uwaga do Gemmy 4 31B: przy 32 tysiącach tokenów karta zapełniła się prawie do końca (21,3 GB model, 2,2 GB pulpit i programy), a szybkość spadła z 43 do 4,2 tok/s. Przy 8 tysiącach model zajmował 20,0 GB i pisał 42,1 tok/s. Przy otwartej przeglądarce trzymaj ją przy kontekście do kilkunastu tysięcy tokenów. Więcej o niej w tekście Gemma 4 31B lokalnie (test z 8 października: 41-43 tok/s).

Co się dzieje na mniejszej karcie

Symulacja z 3 października, kontekst 4096 tokenów. „Na karcie” to warstwy i część modelu, które Ollama trzymała w pamięci karty, reszta szła na procesor.

• Brak kilku procent pamięci to połowa szybkości. Gemmie 4 12B na 8 GB zabrakło 3 warstw i spadła z 99 do 48 tok/s. To nadal szybciej, niż się czyta.
• Połowa modelu na procesorze to koniec wygody: Bielik 11B Q8_0 na 8 GB pisał 8 tok/s, Qwen 3.8 27B 4,4 tok/s.
• GPT-OSS 20B na 12 GB zmieścił wszystkie warstwy, na procesorze została około 1 GB reszty modelu, a szybkość spadła z 237 do 165 tok/s.
• Prawdziwa karta będzie wolniejsza, bo ma wolniejszą pamięć. W tablicy llama.cpp (sprawdzonej 9 października) Llama 2 7B robi 189 tok/s na RTX 4090, 133 na RTX 4070 Ti Super, 77 na RTX 3060 12 GB i 64 na RTX 4060 Ti 8 GB.

Dla kogo który model: karty 8, 12, 16 i 24 GB

Karta 8 GB (RTX 4060, 3070)

• Gemma 4 12B - najlepsza jakość (10/12), 48 tok/s w symulacji.
• Gemma 4 E4B - cała w karcie nawet przy 32 tysiącach tokenów (5,9 GB), 128 tok/s, 8/12. Do długich dokumentów.
• Ministral 3 8B - 9/12 i 141 tok/s, ale tylko przy krótkim kontekście.

Karta 12 GB (RTX 3060, 4070)

• Gemma 4 12B - cała w karcie także przy 32 tysiącach tokenów (8,3 GB), 99 tok/s. Mój wybór na start.
• Bielik 11B v3 Q4_K_M - 10/12 i 114 tok/s przy kontekście do 8 tysięcy (8,4 GB).

Karta 16 GB (RTX 4060 Ti 16 GB, 5060 Ti, 4070 Ti Super)

• Qwen 3.8 27B - 10/12, najlepsza ocena tekstów (8,3), 33 tok/s w symulacji.
• Bielik 11B v3 Q8_0 - 12,3-13,1 GB przy kontekście 4-8 tysięcy, 70 tok/s.

Karta 24 GB (RTX 3090, 4090, 5090)

• Gemma 4 31B QAT - najlepszy wynik (11/12), 43 tok/s, 19,8-20,0 GB przy kontekście 4-8 tysięcy.
• Qwen 3.8 27B - 10/12, 47 tok/s i zapas: 17,2 GB nawet przy 32 tysiącach tokenów.

A Bielik?

Bielik to polski model od SpeakLeash i ACK Cyfronet AGH. W moich 12 zadaniach wersja 11B v3 była w czołówce (9-10/12), ale nie pobiła Gemmy 4 ani Qwena. Mała wersja 4.5B wypadła najsłabiej (5/12). Wersje i uruchamianie opisałem w tekście Bielik: polski model AI.

Licencje: czego można używać w firmie

• Apache 2.0, komercyjnie tak: Gemma 4 (31B, 12B, E4B), Qwen 3.8 27B, Bielik 11B v3 i 4.5B v3, GPT-OSS 20B, Ministral 3 8B.
• Llama 3.1 Community License, komercyjnie tak: do 700 mln użytkowników miesięcznie, z dopiskiem „Built with Llama”.

Jak zacząć krok po kroku

1. Zainstaluj Ollamę z ollama.com (bez konta).
2. Pobierz model dobrany do karty, np. ollama pull gemma4:12b-it-qat (7,2 GB), a na 24 GB gemma4:31b-it-qat (19 GB).
3. Uruchom: ollama run gemma4:12b-it-qat, a w drugim oknie ollama ps sprawdź, czy jest „100% GPU”.
4. Kontekst ustaw suwakiem w aplikacji Ollamy albo parametrem num_ctx.

ollama pull gemma4:12b-it-qat
ollama pull qwen3.8:27b
ollama pull hf.co/speakleash/Bielik-11B-v3.0-Instruct-GGUF:Q4_K_M
ollama run gemma4:12b-it-qat --verbose

Qwena 3.8 27B testowałem z pliku Q4_K_M o wadze 16,5 GB. Wersja z biblioteki Ollamy waży 18 GB (obsługuje też obrazy), więc zajmie trochę więcej pamięci. Różnice między programami opisałem w porównaniu LM Studio czy Ollama, a rodzinę Qwen w przewodniku po Qwenie.

Najczęstsze pytania

Jaki jest najlepszy lokalny model AI po polsku?

W moim teście najlepsza była Gemma 4 31B (11/12), ale potrzebuje karty 24 GB. Najlepszy stosunek jakości do sprzętu ma Gemma 4 12B: 10/12 przy 7,5 GB pamięci.

Jaki lokalny LLM na kartę 8 GB?

Gemma 4 12B z 3 warstwami na procesorze (48 tok/s w symulacji) albo w całości mieszcząca się Gemma 4 E4B (8/12, 128 tok/s). Bielika 11B w Q8_0 na 8 GB nie polecam: spadł do 8 tok/s.

Czy Bielik jest lepszy od Qwena i Gemmy po polsku?

Nie w moich zadaniach: 9-10 na 12, tyle co Gemma 4 12B i Qwen 3.8 27B albo o punkt mniej. Za to w moim teście pytań o prawa konsumenta najlepiej znał polskie przepisy bez dokumentu.

Qwen czy Gemma lokalnie?

Na 16 GB Qwen 3.8 27B (najlepsza ocena tekstów). Na 8-12 GB i do długich dokumentów Gemma 4 12B: dwa razy szybsza i oszczędna przy długim kontekście.

Ile pamięci karty potrzebuje lokalny model AI?

Od 5,3 GB (Gemma 4 E4B, Bielik 4.5B) do 19,8 GB (Gemma 4 31B) przy kontekście 4 tysięcy tokenów. Kontekst 32 tysięcy tokenów dokłada od 0,6 GB (Gemma 4 E4B) do 5,6 GB (Bielik 11B Q4_K_M).