Ollama: co to jest, instalacja i mój test na RTX 4090 (2026)

👁 312 przeczytań

Ollama to darmowy program open source (licencja MIT), który pobiera i uruchamia modele językowe na Twoim komputerze: bez konta, bez abonamentu i bez wysyłania tekstu do chmury. 2 października 2026 zmierzyłem Ollamę 0.35.0 na karcie RTX 4090: GPT-OSS 20B pisze 225 tokenów na sekundę, Gemma 4 12B 91, Qwen 3.8 27B 46, a pierwsze słowo odpowiedzi pojawia się po 0,06-0,27 s. Niżej masz instalację krok po kroku, wszystkie pomiary i pięć pułapek, na które trafiłem w trakcie testu. Przykład dużego modelu w Ollamie z pomiarami: Gemma 4 31B na RTX 4090.

Chcesz okno czatu jak w ChatGPT zamiast terminala? Opisałem Open WebUI z Ollamą z moim pomiarem, a pełny przegląd lokalnych modeli jest w przewodniku Lokalne AI.

Co to jest Ollama

Ollama to program, który zamienia Twój komputer w mały serwer sztucznej inteligencji. Instalujesz go raz, potem jednym poleceniem pobierasz model (np. Gemmę od Google, Qwena od Alibaby, GPT-OSS od OpenAI albo polskiego Bielika) i rozmawiasz z nim tak jak z czatem w przeglądarce. Różnica polega na tym, że wszystko liczy Twoja karta graficzna, a tekst nie opuszcza komputera.

W praktyce Ollama to trzy rzeczy naraz:

• Biblioteka modeli na ollama.com - gotowe, skompresowane wersje otwartych modeli, które pobierasz komendą ollama pull.
• Silnik, który ładuje model do pamięci karty i generuje odpowiedzi. Pod spodem korzysta z llama.cpp, a na Macach z procesorem M coraz częściej z MLX.
• Lokalny serwer pod adresem http://localhost:11434, z własnym API i API zgodnym z OpenAI. Dzięki temu model z Ollamy da się podpiąć do skryptów, n8n czy edytora kodu bez przepisywania programu.

Na Windowsie i macOS jest też aplikacja z oknem czatu, więc terminal nie jest obowiązkowy. Ollama działa na Windowsie 10 (22H2) i 11, macOS 14 lub nowszym i Linuksie. Szerzej o tym, co da się uruchomić u siebie - od tekstu po obrazy i wideo - piszę w przewodniku lokalne AI na komputerze.

Ollama a ChatGPT

To najczęstsze nieporozumienie: Ollama nie jest konkurencyjnym czatem, tylko narzędziem do uruchamiania cudzych modeli u siebie. Porównanie z płatnym czatem wygląda tak:

Kiedy opłaca się jedno, a kiedy drugie, rozpisałem osobno w tekście lokalny model czy API.

Ile kosztuje Ollama

Program i uruchamianie modeli na własnym sprzęcie są bezpłatne i bez limitu, co potwierdza cennik Ollamy. Płatne są tylko opcjonalne modele w chmurze Ollamy:

• Free - 0 USD, modele lokalne bez limitu plus startowa pula kredytów na chmurę.
• Pro - 20 USD miesięcznie (200 USD rocznie), 60 USD kredytów na modele w chmurze.
• Max - 100 USD miesięcznie, 300 USD kredytów.
• Team - 500 USD miesięcznie.

Uwaga: model z dopiskiem „cloud” w nazwie (np. gpt-oss:20b-cloud) nie liczy się u Ciebie, tylko na serwerach Ollamy. Wtedy tekst wychodzi z komputera.

Realny koszt lokalnego modelu to prąd. Karta RTX 4090 ma limit mocy 450 W, ale przy generowaniu tekstu rzadko go dobija. Rachunek zrobisz sam: godzina pracy przy 400 W to 0,4 kWh, pomnożone przez cenę kilowatogodziny z Twojego rachunku. Przy kilkudziesięciu pytaniach dziennie karta pracuje łącznie kilka minut, bo odpowiedź liczy się w sekundach.

Wymagania sprzętowe Ollamy

Najważniejszy parametr to pamięć karty graficznej (VRAM), nie procesor. Model musi zmieścić się w niej w całości razem z kontekstem rozmowy, inaczej zwalnia kilka razy - zmierzyłem to niżej. Wymagania z dokumentacji:

• Windows: 10 w wersji 22H2 lub nowszy, Home albo Pro; karta NVIDIA ze sterownikiem 551.61 lub nowszym albo AMD Radeon przez ROCm v7 lub Vulkan.
• macOS: 14 Sonoma lub nowszy; na Macach z procesorem M pracuje pamięć współdzielona.
• Dysk: około 4 GB na sam program, modele osobno - od pół gigabajta do kilkudziesięciu.

Ile miejsca w pamięci karty zajmowały modele w moim teście (odczyt z ollama ps) i co z tego wynika dla popularnych kart:

Dwie rzeczy, o których mało kto pisze. Po pierwsze, Ollama sama dobiera domyślny kontekst do pamięci karty: poniżej 24 GB to 4096 tokenów, od 24 do 48 GB już 32 768. Na mojej 4090 każdy model dostał więc 32k, co dla Bielika oznaczało 6 GB więcej niż przy 4k. Po drugie, pamięć zajmuje też Windows i inne programy - w czasie testu sam pulpit systemu trzymał ponad 4 GB VRAM. Dokładne tabele dla kolejnych modeli i kart są w tekście ile VRAM potrzeba, żeby uruchomić model lokalnie.

Instalacja Ollamy na Windowsie krok po kroku

1. Wejdź na ollama.com, kliknij Download i wybierz Windows. Instalator OllamaSetup.exe nie wymaga uprawnień administratora i instaluje program w katalogu użytkownika. Alternatywnie wklej w PowerShellu oficjalne polecenie:

   irm https://ollama.com/install.ps1 | iex

2. Zanim pobierzesz pierwszy model, zdecyduj, gdzie mają leżeć modele (szczegóły w sekcji niżej). Domyślnie trafiają do C:\Users\nazwa\.ollama\models i potrafią zająć kilkadziesiąt gigabajtów.
3. Uruchom Ollamę z menu Start. Ikona pojawi się w zasobniku systemowym, a serwer zacznie nasłuchiwać pod http://localhost:11434. Przy pierwszym starcie wybierz pracę lokalną - konto jest potrzebne tylko do modeli w chmurze.
4. Otwórz terminal (PowerShell albo Wiersz polecenia) i sprawdź wersję:

   ollama --version

5. Pobierz i uruchom pierwszy model. Na karcie 8-12 GB zacznij od Gemmy:

   ollama run gemma4:12b

6. Wpisz pytanie po polsku. Rozmowę kończysz poleceniem /bye.

Na macOS pobierasz aplikację z ollama.com albo używasz tego samego polecenia co na Linuksie. Na Linuksie instalacja to jedna linijka z oficjalnej dokumentacji:

curl -fsSL https://ollama.com/install.sh | sh

Jest też oficjalny obraz Dockera ollama/ollama, wygodny na serwerze.

Pierwsze uruchomienie: komendy, które wystarczą

Sprawdziłem cały cykl na najmniejszym modelu z biblioteki, qwen3:0.6b. Pobieranie 522 MB zajęło 46 sekund, a po chwili model odpowiadał. Poprawnie po polsku jednak nie: w środku zdania wtrącił chińskie słowo, a na pytanie o stolicę Polski odpowiedział zdaniem bez sensu. Tak małe modele służą do testów, nie do pracy.

Najważniejsza z nich to ollama ps. Kolumna PROCESSOR powinna pokazywać „100% GPU”. Jeśli widzisz np. „30%/70% CPU/GPU”, model nie zmieścił się w karcie i będzie kilka razy wolniejszy. Model zostaje w pamięci 5 minut od ostatniego pytania; zmienisz to zmienną OLLAMA_KEEP_ALIVE.

Jak zmienić folder z modelami (żeby nie zapchać dysku C:)

Domyślnie Ollama trzyma modele na dysku systemowym. Po pobraniu trzech-czterech średnich modeli to łatwo 40-50 GB. Zmiana lokalizacji na Windowsie:

1. Zamknij Ollamę (prawy klik na ikonie w zasobniku, Quit).
2. W wyszukiwarce Windowsa wpisz „zmienne środowiskowe” i wybierz „Edytuj zmienne środowiskowe dla konta”.
3. Dodaj zmienną OLLAMA_MODELS z nową ścieżką, np. D:\AI\ollama. Z terminala zrobisz to tak:

   setx OLLAMA_MODELS "D:\AI\ollama"

4. Uruchom Ollamę ponownie i sprawdź ollama list. Stare modele możesz przenieść, kopiując całe foldery blobs i manifests.

Pułapka, na którą sam trafiłem: nowy folder musi leżeć na szybkim dysku. Moje modele stały na zewnętrznym dysku SSD podpiętym przez USB, który w tym połączeniu czytał tylko 44 MB/s. Efekt: pierwsze załadowanie Gemmy 4 12B trwało 171 s, Bielika 291 s, a Qwena 3.8 27B 360 s. Qwen za pierwszym razem w ogóle się nie wczytał, bo Ollama przerywa ładowanie po 5 minutach komunikatem „timed out waiting for llama-server to start”. Pomogło ustawienie OLLAMA_LOAD_TIMEOUT=20m, ale właściwe rozwiązanie to wewnętrzny dysk NVMe. Dla porównania: gdy plik Bielika był już w pamięci podręcznej systemu, ponowne załadowanie 12 GB trwało 3,6 s.

Import własnego pliku GGUF do Ollamy

Nie każdy model jest w bibliotece Ollamy, a czasem masz już plik GGUF z LM Studio albo llama.cpp i nie chcesz pobierać go drugi raz. Ja zaimportowałem w ten sposób cztery modele. Wystarczy plik tekstowy o nazwie Modelfile z jedną linijką:

FROM D:\AI\gguf\gemma-4-12b-it-qat-q4_0.gguf

i polecenie w tym samym folderze:

ollama create gemma4-12b -f Modelfile

Ollama kopiuje plik do swojego magazynu (więc na dysku potrzebujesz chwilowo dwa razy więcej miejsca) i nie kompresuje go - jaki GGUF wrzucisz, taki dostaniesz. Z mojego importu wyszły dwie nauczki:

• Gemma 4 z własnego pliku domyślnie „myśli” przed odpowiedzią. Przy limicie 600 tokenów całość zjadło myślenie i odpowiedź była pusta. Wyłączysz to parametrem "think": false w API albo /set nothink w rozmowie.
• GPT-OSS 20B z własnego GGUF wypisywał surowe znaczniki w rodzaju <|channel|>analysis<|message|> przed właściwą odpowiedzią. Ten model używa specjalnego formatu rozmowy, który wersja z biblioteki obsługuje poprawnie. Dlatego modele OpenAI pobieraj przez ollama pull gpt-oss:20b, a import zostaw dla modeli bez takich wymagań.

API Ollamy zgodne z OpenAI

Ollama udostępnia lokalnie te same ścieżki co API OpenAI: /v1/chat/completions, /v1/completions, /v1/models, /v1/embeddings i /v1/responses. Klucz API jest wymagany przez biblioteki, ale Ollama go ignoruje, więc wpisujesz dowolny tekst, np. „ollama”. Sprawdziłem na swoim serwerze, że to działa:

curl http://localhost:11434/v1/chat/completions -H "Content-Type: application/json" -d "{\"model\": \"gemma4:12b\", \"messages\": [{\"role\": \"user\", \"content\": \"Streść w dwóch zdaniach, czym jest inflacja.\"}]}"

W programie korzystającym z biblioteki OpenAI zmieniasz tylko adres bazowy na http://localhost:11434/v1 i nazwę modelu. Natywne API Ollamy (/api/generate, /api/chat) zwraca dodatkowo czasy ładowania i generowania - z nich liczyłem wszystkie pomiary w tym tekście. Domyślnie serwer słucha tylko na komputerze lokalnym; udostępnienie w sieci włączasz zmienną OLLAMA_HOST, ale wtedy model jest dostępny dla każdego w tej sieci.

Mój test Ollamy na RTX 4090

Sprzęt: RTX 4090 z 24 GB pamięci, Windows 11 Pro, 64 GB RAM, Ollama 0.35.0. Każdy model dostał to samo polskie polecenie (wyjaśnienie inflacji w około 150 słowach), jeden przebieg na zimno i trzy na ciepło - w tabeli podaję medianę z trzech ciepłych. Szybkość przetwarzania promptu mierzyłem osobno na tekście długości 2800-3700 tokenów. Kontekst był domyślny, czyli 32 768 tokenów.

Co z tego wynika:

• Wszystkie cztery modele są szybsze, niż czytasz. Nawet najwolniejszy Qwen pisze 46 tokenów na sekundę, czyli odpowiedź na 150 słów dostajesz w kilka sekund. GPT-OSS jest tak szybki, bo to model typu MoE: przy każdym słowie liczy tylko część parametrów.
• Długi dokument nie jest problemem. Prompt na 2800 tokenów (kilka stron tekstu) Gemma przetworzyła w 0,6 s, a Qwen w 1 s.
• Ollama nie jest wolniejsza od „gołego” llama.cpp w sposób, który poczujesz. Te same pliki w llama.cpp dały mi wcześniej 104 tok/s dla Gemmy (w Ollamie 91, czyli 13% mniej) i 218 tok/s dla GPT-OSS (w Ollamie 225).
• Kontekst zjada pamięć, nie szybkość. Bielik z kontekstem 4096 tokenów zajmował 12,68 GB, z 8192 - 13,65 GB, a z domyślnymi na tej karcie 32 768 - 18,59 GB. Szybkość we wszystkich trzech wariantach wyniosła 67 tok/s. Kontekst zmienisz parametrem num_ctx w API, poleceniem /set parameter num_ctx 8192 w rozmowie albo zmienną OLLAMA_CONTEXT_LENGTH. Mały model też potrafi zaskoczyć: qwen3:0.6b ma plik 522 MB, a przy kontekście 32k zajął 4,3 GB.

Co się dzieje, gdy model nie mieści się w pamięci karty

Ustawiłem Qwenowi 3.8 27B kontekst 131 072 tokenów, przez co cały model urósł do 25,8 GB - więcej, niż ma karta. Ollama sama wrzuciła 22,8 GB na GPU (59 z 66 warstw), ale razem z pamięcią zajętą przez Windows to już się nie zmieściło. Sterownik NVIDIA zaczął przerzucać dane do zwykłego RAM-u i model praktycznie stanął: karta raportowała 100% obciążenia przy 99 W, prompt liczył się z prędkością 0,14 tokena na sekundę, a przez 10 minut nie powstał ani jeden token odpowiedzi.

Gdy ręcznie zostawiłem na karcie 48 z 66 warstw ("num_gpu": 48 w opcjach), resztę przejął procesor i model ruszył: 8,4 tok/s zamiast 46, czyli 5,5 raza wolniej. Wniosek jest prosty: jeśli ollama ps pokazuje coś innego niż „100% GPU”, zmniejsz kontekst albo weź mniejszy model. Szybszy procesor tego nie naprawi.

Jak piszą po polsku: e-mail do sąsiada

Każdy model dostał polecenie „Napisz uprzejmy e-mail do sąsiada o hałasie po 22:00”. Fragmenty odpowiedzi bez poprawek:

• Bielik 11B: „Bardzo cenię sobie dobrosąsiedzkie relacje i rozumiem, że czasem trudno jest zachować całkowitą ciszę. Czy byłaby możliwość nieco ściszenia muzyki lub rozmów po 22:00?” Najbardziej naturalna polszczyzna i najkrótszy, gotowy do wysłania tekst. Otwarcie „Szanowny Sąsiedzie” jest trochę sztywne.
• Gemma 4 12B: „Niestety ściany w naszym bloku są dość cienkie i dźwięki te dość wyraźnie niosą się do mojego mieszkania, co utrudnia mi odpoczynek przed pracą / zasypianie.” Dała trzy wersje (łagodną, stanowczą i krótką) plus wskazówki - najbardziej użyteczna odpowiedź. W pierwszym zdaniu wstępu zrobiła jednak błąd składni: „jak dobra relacja łączą Cię z sąsiadem”.
• Qwen 3.8 27B: „Rozumiem, że życie towarzyskie i relaks po pracy są ważną częścią dnia, jednak chciałbym/chciałabym serdecznie prosić o zwrócenie uwagi na poziom głośności.” Poprawny e-mail, ale temat „Prośba o cichość” brzmi nienaturalnie, a we wskazówkach pojawił się zmyślony „regulamin lub interia”.
• GPT-OSS 20B: „Mam nadzieję, że ten e-mail zastaje Pana/Panią w dobrym zdrowiu i nastroju.” To dosłowna kalka z angielskiego „I hope this email finds you well”, której Polak by nie napisał. Reszta poprawna, ale rozwlekła.

Ten obraz zgadza się z moim wcześniejszym testem lokalnych modeli po polsku: Gemma i Qwen najlepiej wykonują polecenia, Bielik najlepiej brzmi, a GPT-OSS jest najszybszy i najsłabszy językowo.

Który model w Ollamie wybrać po polsku

Jak uruchomić Bielika krok po kroku i czym różnią się jego wersje, opisałem w tekście Bielik AI lokalnie.

Ollama czy LM Studio

Oba programy uruchamiają te same modele GGUF, więc wybór niczego nie zamyka. Różni je sposób pracy:

• Ollama - lokalny serwer z prostą aplikacją i terminalem. Najlepsza, gdy model ma pracować w tle dla skryptu, n8n, edytora kodu albo innego programu.
• LM Studio - rozbudowane okno z wyszukiwarką modeli z Hugging Face, suwakami parametrów i historią rozmów. Lepsze, gdy chcesz porównywać modele i ustawienia bez terminala.
• llama.cpp - silnik, na którym stoją oba; daje pełną kontrolę i odrobinę więcej szybkości, ale wymaga ręcznej konfiguracji.

Ja trzymam oba: w LM Studio sprawdzam nowe modele, a w Ollamie uruchamiam te, które zostają w codziennej pracy. Jeśli interesują Cię lokalne obrazy, to inna para kaloszy - do tego służy ComfyUI.

Najczęstsze problemy z Ollamą

• Ollama nie używa karty graficznej. Sprawdź ollama ps: jeśli widzisz „100% CPU”, zaktualizuj sterownik NVIDIA do 551.61 lub nowszego i uruchom Ollamę ponownie. Przyczyną bywają też stare biblioteki CUDA lub llama.cpp w zmiennej PATH - Ollama ostrzega o nich w pliku server.log w %LOCALAPPDATA%\Ollama.
• Brak pamięci albo model nagle „staje”. Model z kontekstem nie mieści się w karcie. Zmniejsz num_ctx (np. do 8192), zamknij programy trzymające VRAM (u mnie ComfyUI potrafił zająć prawie 8 GB) albo weź mniejszą kwantyzację.
• Odpowiedzi są wolne. Prawie zawsze to podział między GPU i CPU - mój pomiar to 8,4 zamiast 46 tok/s. Drugi powód to model, który „myśli” przed odpowiedzią: wyłączysz to poleceniem /set nothink albo parametrem think.
• Pierwsza odpowiedź przychodzi po kilku minutach. Model ładuje się z wolnego dysku. Przenieś OLLAMA_MODELS na wewnętrzny NVMe; przy bardzo dużych modelach podnieś OLLAMA_LOAD_TIMEOUT.
• Dysk C: zapchany modelami. ollama list pokaże, co zajmuje miejsce, ollama rm usunie zbędne, a OLLAMA_MODELS przeniesie magazyn na inny dysk.
• Dziwne znaczniki w odpowiedzi po imporcie GGUF. Model ma niestandardowy format rozmowy - pobierz wersję z biblioteki Ollamy.

Ollama - opinie: zalety i wady

Moja ocena po tym teście:

• Zaleta: instalacja w kilka minut i jedna komenda do pobrania modelu.
• Zaleta: prywatność. Modele lokalne nie wysyłają tekstu do ollama.com; dane wychodzą tylko przy modelach z dopiskiem „cloud”.
• Zaleta: API zgodne z OpenAI, dzięki któremu podpinasz lokalny model do gotowych narzędzi.
• Zaleta: szybkość praktycznie równa llama.cpp, na którym Ollama stoi.
• Zaleta: darmowa i otwarta - licencja MIT, kod na GitHubie.
• Wada: mało ustawień w oknie aplikacji. Kontekst, myślenie modelu czy liczba warstw na GPU to zmienne i parametry API, nie suwaki.
• Wada: domyślny kontekst zależny od karty, przez który ten sam model zajmuje na 24 GB o kilka gigabajtów więcej niż na 16 GB.
• Wada: import GGUF bywa kapryśny przy modelach z własnym formatem rozmowy.
• Wada: jakość. Najlepsze lokalne modele dostały w moim Laboratorium ok. 72 punkty, ponad 20 mniej niż czołowe modele komercyjne. Kupujesz prywatność i brak rachunków, nie najwyższą jakość.

Najczęstsze pytania

Czy Ollama jest darmowa?

Tak. Program jest open source na licencji MIT, a uruchamianie modeli na własnym komputerze jest bezpłatne i bez limitu. Płatne są tylko opcjonalne modele w chmurze Ollamy, od planu Pro za 20 USD miesięcznie.

Czy Ollama działa bez internetu?

Tak, po pobraniu modelu. Internet jest potrzebny tylko do instalacji i pobrania modeli, więc przed wyjazdem użyj ollama pull.

Czy Ollama wysyła moje dane?

Modele lokalne działają w całości na Twoim komputerze i według dokumentacji Ollama nie przesyła promptów na ollama.com. Dane wychodzą tylko wtedy, gdy świadomie użyjesz modelu z chmury albo wyszukiwania w sieci.

Czy Ollama zadziała bez karty graficznej?

Zadziała na samym procesorze, ale wolno. Już przeniesienie 18 z 66 warstw na CPU spowolniło Qwena 3.8 27B z 46 do 8,4 tokena na sekundę. Bez karty wybieraj małe modele, np. Gemma 4 E4B.

Ile miejsca na dysku potrzebuje Ollama?

Około 4 GB na program i od 0,5 do kilkudziesięciu GB na każdy model. Moje cztery testowe modele zajęły razem 46 GB.

Jaki model w Ollamie jest najlepszy po polsku?

W moim teście Gemma 4 12B (72,3 pkt, 8 GB pamięci karty) i Qwen 3.8 27B (72,2 pkt, 18 GB). Najbardziej naturalną polszczyznę ma Bielik 11B, ale gorzej wykonuje złożone polecenia.

// czytaj dalejBielik: polski model AI - wersje, Ollama, koszty i mój test (2026)ArtykułyComfyUI: instalacja na Windowsie, pierwszy obraz i wymaganiaArtykułyllama.cpp na Windowsie: instalacja, czat w przeglądarce i test CUDAArtykuły

Chcesz zrobić film po polsku? ZWID - od 3 zł →