Lokalne AI: otwarte modele na twoim sprzęcie, ranking i Model tygodnia

👁 688 przeczytań

Lokalne AI to otwarte modele językowe, graficzne, wideo i mowy, które działają na twoim komputerze: bez konta, bez abonamentu i bez wysyłania danych do chmury. Zebrałem tu wszystko, co zmierzyłem na swojej karcie RTX 4090, tabelę „co pójdzie na jakim sprzęcie” (od 24 GB po sam procesor), ranking najlepszych otwartych modeli na październik 2026 i kalendarz serii „Model tygodnia”, w której co tydzień uruchamiam jeden nowy model. Ostatnie wydanie: Gemma 4 31B na RTX 4090. Nowe otwarte modele wideo z października: MAGI-2 Preview od Sand.ai (Apache-2.0, ale wymaga 8 kart po 80 GB) i Agnes-Video-2.0-MoE (Apache 2.0, ok. 57,5 GB wag).

Moje testy i poradniki

01Gemma 4 31B lokalnie na RTX 4090: pomiary, VRAM i test po polskuModel tygodnia na Twoim komputerze #1: Gemma 4 31B w Ollamie na RTX 4090 - czas ładowania, tok/s, VRAM, 5 zadań po polsku i instrukcja.Czytaj →027 lokalnych modeli AI po polsku: test na RTX 4090 kontra chmuraGemma 4 12B, Qwen 3.8, Bielik, GPT-OSS i inne w tym samym teście co Opus 5.5. Najlepsze lokalne pobiły Claude Haiku 4.5.Czytaj →03Bielik, Llama czy Mistral po polsku? Test 5 poleceń na RTX 4090Streszczenie, mail, korekta, wyjaśnienie dla dziecka i tłumaczenie: porównałem Bielika, Llamy, Mistrale, Gemmę 4 i Muse Glimmer lokalnie na RTX 4090 i w chmurze, ze ślepą oceną i pomiarem prędkości.Czytaj →04Z-Image Turbo lokalnie: test na 8 promptach i porównanie z Qwen-Image16 obrazów z tych samych poleceń: Z-Image Turbo robi obraz w 4,2 s i wolno go używać komercyjnie. Oba modele pomyliły polskie litery.Czytaj →05Wan 2.2 lokalnie: wideo z AI na własnej karcie - czas, VRAM, próbkiCztery klipy 5 s w 720p z Wan 2.2 5B na RTX 4090: ok. 4 minuty na klip, 2 grosze prądu. Co wychodzi dobrze, a gdzie model gubi fizykę.Czytaj →06Porównanie lektorów AI: 8 głosów czyta ten sam polski tekstTen sam polski tekst z datą, kwotą i łamańcami przeczytało 8 lektorów AI. Ślepy test, ceny, licencje i błędy wymowy.Czytaj →

Co pójdzie na jakim sprzęcie

Najważniejsza jest pamięć karty graficznej (VRAM), a na Macu - pamięć wspólna. Poniżej rozpisałem pięć typowych zestawów. Zasada, której się trzymam: liczby szybkości podaję tylko z moich pomiarów albo ze źródeł z datą. Własną kartę mam jedną - RTX 4090 24 GB. Mniejsze karty sprawdziłem w symulacji: ograniczałem w Ollamie liczbę warstw wysyłanych na kartę tak, żeby model zajmował najwyżej tyle, ile jest wolne na karcie 8, 12 czy 16 GB (pojemność minus 1 GB na system), a resztę liczył procesor. Prawdziwa karta 8 lub 12 GB ma wolniejszą pamięć niż RTX 4090, więc te liczby trzeba traktować jako górną granicę. Tam, gdzie nie mam ani pomiaru, ani źródła, piszę wprost „nie mierzyłem”.

RTX 4090 24 GB (także 3090, 5090) - moje pomiary

Tekst: llama.cpp CUDA (26.09) i Ollama 0.40 (Gemma 31B, 8.10), kontekst 8-32 tys. tokenów. Obrazy: ComfyUI, 1344×768, czas bez pierwszego ładowania. Mowa: test z 8.10 opisany w porównaniu lektorów AI. Gemma 4 31B zajmuje prawie całą kartę - obok niej nie uruchomisz już generatora obrazów.

Chcesz zrobić film po polsku? ZWID - od 3 zł →

Karta 12 GB (RTX 3060, 4070) - symulacja i źródła

Karta 8 GB (RTX 4060, 3070) - symulacja i źródła

Na 8 GB bierz model, który mieści się w całości. Bielik 11B w wersji Q8 rozłożony między kartę i procesor spadł w symulacji do 8 tok/s, a w pełnej pamięci karty robił 70.

Mac z procesorem M (16, 32, 64 GB) - źródła, bez moich pomiarów

Maca do testów nie mam. Pamięć na Macu jest wspólna dla systemu i grafiki, więc część zawsze zostaje dla macOS i programów. Poniżej rozmiary plików z moich testów, czyli minimum pamięci na sam model, oraz szybkość z publicznej tablicy llama.cpp dla tego samego małego modelu (Llama 2 7B Q4_0).

Sam procesor, bez karty

Ten sam model na różnym sprzęcie

Żeby porównać sprzęt uczciwie, wziąłem jedną tablicę: wyniki llama.cpp dla tego samego modelu Llama 2 7B w kwantyzacji Q4_0 (generowanie 128 tokenów). Karty Nvidii pochodzą z dyskusji #15013 (z flash attention), Maki z dyskusji #4167. Szybkość rośnie razem z przepustowością pamięci, a nie z ceną karty.

Druga rzecz, którą widać w moich pomiarach: model, który nie mieści się w karcie, nie zwalnia o kilkanaście procent, tylko o rząd wielkości. Ten sam Qwen 3.8 27B w symulacji mniejszych kart:

Wzory na pamięć (wagi, kwantyzacja, pamięć kontekstu) rozpisałem w tekście ile VRAM potrzeba, a konkretne zestawy komputerów w poradniku jaki komputer do lokalnego AI.

Jak zacząć w 10 minut

10 minut to sama instalacja i pierwsze uruchomienie. Pobieranie modelu zależy od łącza: Gemma 4 31B (18 GB) ściągała mi się 40 minut, a mała Gemma 4 12B (7 GB) to kilka minut na szybkim internecie.

Ollama - tekst z terminala

1. Pobierz instalator z ollama.com i zainstaluj (Windows, macOS, Linux).
2. Otwórz PowerShell albo Terminal i wpisz: ollama run gemma4:12b. Model się pobierze i od razu otworzy czat.
3. Sprawdź, czy wszystko jest na karcie: ollama ps. W kolumnie PROCESSOR musi być „100% GPU”.
4. Szybkość zobaczysz po dodaniu flagi --verbose (wiersz „eval rate”).

Pełny poradnik z pułapkami: Ollama na RTX 4090.

LM Studio - tekst w okienku

1. Pobierz LM Studio z lmstudio.ai i zainstaluj. Konto nie jest potrzebne.
2. W zakładce wyszukiwania wpisz nazwę modelu, np. „gemma 4 12b”, i wybierz wersję Q4 - program podpowiada, co zmieści się w twojej karcie.
3. Kliknij „Load” i pisz w czacie. Wszystko zostaje na komputerze.

Szczegóły: LM Studio krok po kroku, a połączenie z narzędziami: LM Studio i MCP.

ComfyUI - obrazy i wideo

1. Uruchom mój skrypt instaluj-comfyui.ps1 - instaluje ComfyUI z PyTorchem dobranym do karty i pobiera Z-Image Turbo.
2. Otwórz w przeglądarce adres, który pokaże ComfyUI (domyślnie 127.0.0.1:8188).
3. Wybierz szablon Z-Image Turbo, wpisz polecenie i kliknij „Run”. Pierwszy obraz trwa dłużej, bo model ładuje się z dysku.

Pełny opis i wymagania: ComfyUI na Windowsie.

Najlepsze otwarte modele - październik 2026

Ranking łączy dwa źródła: niezależne tablice Artificial Analysis (AA) i moje testy po polsku. AA mierzy głównie po angielsku, więc dla polszczyzny ważniejsze są moje wyniki.

Tekst

AA: Intelligence Index v4.3.2, tablica modeli z otwartymi wagami, sprawdzone 9.10.2026. Czołówka to modele na serwery - z pierwszej szóstki na jednej karcie dla graczy uruchomisz tylko Qwena 3.8 27B. Na zwykłym komputerze najlepiej po polsku pisała u mnie Gemma 4 (31B i 12B).

Obraz

Stan tablicy AA z 2.10.2026. Pełny ranking 19 modeli z licencjami: najlepsze otwarte modele do obrazów.

Mowa

Lektorów sprawdziłem 8.10.2026 na tym samym polskim tekście (najlepszy z chmury, Eleven v4, miał 15/15). Tablica zamiany mowy na tekst AA (sprawdzona 9.10.2026) liczy błędy na nagraniach angielskich. Voxtral Small według karty modelu nie obsługuje polskiego i potrzebuje ok. 55 GB pamięci karty, więc do polskich nagrań na domowym komputerze zostaje Whisper.

Seria „Model tygodnia” - wydania i kalendarz

Co tydzień biorę jeden otwarty model, uruchamiam go na RTX 4090 i mierzę zawsze to samo: pobranie, ładowanie, tok/s, pamięć karty przy 8 i 32 tys. tokenów kontekstu, licencję i 5 tych samych zadań po polsku (ocena 0-10). Dzięki temu wydania da się porównywać ze sobą. Wszystkie wydania znajdziesz też pod tagiem Model tygodnia.

Kolejność może się zmienić, jeśli wyjdzie coś ważniejszego - nowy Bielik od SpeakLeash ma pierwszeństwo.

Zapowiedziane premiery wag

• 15 października 2026 - StepFun Step 5. Producent zapowiedział otwarte wagi modelu, który od 20.09 działa przez API. To 600 mld parametrów (27 mld aktywnych), więc na jedną kartę dla graczy się nie zmieści. Licencji jeszcze nie ogłoszono.
• Hy Image 3.5 (Tencent) - na razie tylko podgląd przez API, wag brak (stan 8.10). Mój test wersji z API: HY Image 3.5 Preview.
• Ling 3.1 Flash - brak otwartych wag (stan 8.10).

Programy do uruchamiania

• LM Studio - okienkowy program z wyszukiwarką modeli. Najprostszy start z modelami tekstowymi.
• Ollama - modele tekstowe z terminala i prosty serwer API. Popularna w automatyzacjach.
• llama.cpp - silnik pod spodem obu powyższych. Daje pełną kontrolę i czat w przeglądarce. Na karcie Nvidii bierz wersję CUDA, bo Vulkan był u mnie 1,9-2,6 raza wolniejszy.
• ComfyUI - obrazy i wideo. Tablica z blokami, szablony dla nowych modeli i sterowanie ze skryptu.

Gotowe skrypty do pobrania

Do każdego poradnika przygotowałem skrypt, który sprawdziłem 26.09.2026 na Windowsie 11 z kartą RTX 4090. Pełny kod z komentarzami jest w tekstach. Licencja MIT. Możesz też pobrać wszystkie 5 skryptów w jednym pliku ZIP (15 KB).

• instaluj-llama-cpp.ps1 (5 KB) - llama.cpp w wersji CUDA albo Vulkan, Gemma 4 12B i plik startowy. Opis.
• instaluj-comfyui.ps1 (6 KB) - ComfyUI z PyTorchem dobranym do karty i modelami Z-Image Turbo oraz Wan 2.2. Opis.
• generuj-obrazy.py (6 KB) - serie obrazów z listy poleceń, z dziennikiem czasu. Opis.
• generuj-wideo.py (6 KB) - klip z Wan 2.2 prosto do MP4. Opis.
• zmierz-model.py (6 KB) - szybkość, pamięć karty i koszt prądu twojego modelu. Opis.

Czy to się opłaca

Prąd za 13 zadań na Gemmie 4 12B kosztował 0,4 grosza, a te same zadania w GPT-6 Luna przez API kosztowały 1,6 grosza. Obraz z Z-Image to 0,04 grosza prądu. Zakup karty zwraca się jednak dopiero po setkach godzin pracy, a najtańsze API pisze lepiej. Lokalne AI wygrywa przede wszystkim prywatnością: nic nie wychodzi z komputera. Pełny rachunek jest w tekście lokalny model czy API.

Więcej o modelach lokalnych

01Ollama: co to jest, instalacja i mój test na RTX 4090 (2026)Czym jest Ollama, ile kosztuje i co uruchomisz na swojej karcie. Zmierzyłem 4 modele w Ollamie 0.35 na RTX 4090: szybkość, pamięć, polszczyzna i pięć pułapek.Czytaj →02LM Studio: model AI na własnym komputerze bez konta, abonamentu i internetuLM Studio to program na Windows, macOS i Linuksa, w którym uruchomisz model językowy na własnym komputerze: pobierasz plik modelu z wbudowanej…Czytaj →03ComfyUI: instalacja na Windowsie, pierwszy obraz i wymaganiaDarmowy program do obrazów i wideo AI na własnym komputerze. Trzy sposoby instalacji, szablony zamiast pustej tablicy i ile naprawdę potrzeba VRAM.Czytaj →04llama.cpp na Windowsie: instalacja, czat w przeglądarce i test CUDAJedna komenda instaluje llama.cpp, ale wersja z winget była u nas 2-2,6 raza wolniejsza. Jak pobrać wersję CUDA, uruchomić serwer i wyłączyć zapętlone myślenie.Czytaj →05Jak uruchomić Bielika lokalnie na własnym komputerzePobierz i uruchom Bielika na własnym komputerze przez LM Studio, Ollamę lub llama.cpp. Dobór wersji, wymagania sprzętowe i gotowe komendy.Czytaj →06GPT-OSS-20B lokalnie: wymagania, pliki i start w OllamieGPT-OSS-20B: jak uruchomić w Ollamie, co oznacza 16 GB pamięci i ile ważą pliki. Własny pomiar repozytorium oraz ograniczenia lokalnego modelu.Czytaj →07Qwen-Image-2.1: najlepszy otwarty model do obrazów - ranking, testy na RTX 4090, licencjaPierwszy wśród otwartych modeli w Artificial Analysis, działa na jednej karcie z 24 GB. Słabo radzi sobie z polskimi napisami, a licencja zakazuje zarabiania.Czytaj →08Najlepsze otwarte modele do generowania obrazów 2026: rankingDarmowy generator obrazów lokalnie: 19 otwartych modeli z rankingu Artificial Analysis, licencja każdego z nich i to, co zmieści się na domowej karcie.Czytaj →09Lokalny model czy API: ile naprawdę kosztuje AI z własnej kartyPomiar prądu na RTX 4090 kontra rachunki z API za te same zadania. Gemma lokalnie: 0,4 gr, GPT-6 Luna: 1,6 gr. Kiedy karta się zwraca.Czytaj →

Najczęstsze pytania

Jaki jest najlepszy lokalny model AI po polsku?

Na kartę 24 GB - Gemma 4 31B (9,5/10 w moich 5 zadaniach, 42 tok/s). Na mniejsze karty - Gemma 4 12B, która wygrała mój większy test pisania z 26.09.2026 (72,3 pkt), tuż przed Qwen 3.8 27B (72,2). Bielik 11B v3 ma najpoprawniejszą polszczyznę i najlepiej zna polskie realia, ale słabiej wykonuje polecenia.

Jaki model AI pójdzie na karcie 8 GB?

Gemma 4 E4B mieści się w całości (5,4-6,1 GB). Gemma 4 12B w wersji Q4 prawie się mieści - w mojej symulacji 8 GB zostało 45 z 48 warstw na karcie i wyszło 48 tok/s. Większe modele rozłożone między kartę i procesor spadają do kilku tokenów na sekundę.

Czy lokalne AI działa na Macu?

Tak, Ollama, LM Studio i ComfyUI mają wersje na macOS. Maca nie mierzyłem; według tablicy llama.cpp mały model 7B generuje na M4 ok. 24 tok/s, na M4 Pro ok. 51, a na M4 Max ok. 83. Na Macu z 32 GB zmieszczą się modele, które u mnie zajmowały 17-19 GB, jak Qwen 3.8 27B czy Gemma 4 31B.

Czy mogę uruchomić lokalne AI bez karty graficznej?

Małe modele tekstowe i lektor Piper działają na samym procesorze. Tekstu na samym procesorze nie mierzyłem; gdy u mnie tylko 18 z 66 warstw Qwena trafiło na procesor, szybkość spadła z 46 do 8,4 tok/s. Obrazy i wideo bez karty są w praktyce zbyt wolne.

Czy lokalne AI działa bez internetu?

Tak. LM Studio, Ollama, llama.cpp i ComfyUI po pobraniu modelu działają całkowicie offline, a polecenia i pliki nie opuszczają komputera.

Co to jest seria „Model tygodnia”?

Co tydzień uruchamiam jeden nowy otwarty model na RTX 4090 i mierzę go tym samym zestawem: szybkość, pamięć, ładowanie, licencja i 5 zadań po polsku. Pierwsze wydanie to Gemma 4 31B, kolejne są w kalendarzu wyżej.

Czy StepFun Step 5 pójdzie na domowym komputerze?

Nie na jednej karcie dla graczy. Model ma 600 mld parametrów, a wagi zapowiedziano na 15 października 2026. Nawet mocno skompresowany potrzebuje setek gigabajtów pamięci. Więcej w przewodniku StepFun Step 5.

// czytaj dalejAI na urządzeniu wraca jako temat prywatności. Lokalny model może być wolniejszy, ale bardziej zaufanyPremiumMAGI-2 Preview: otwarty model wideo Sand.ai - ranking i wymaganiaArtykułyGPT-6 Luna: najtańszy model OpenAI zdał moje testy za 0,0024 USDWarsztat