GPT-OSS-20B lokalnie: wymagania, pliki i start w Ollamie

👁 114 przeczytań

GPT-OSS-20B to model OpenAI z dostępnymi wagami, który można uruchomić lokalnie, między innymi przez Ollamę. Nadaje się do eksperymentów z tekstem, rozumowaniem i narzędziami, ale sam plik modelu nie daje gotowego odpowiednika wszystkich funkcji ChatGPT.

Sprawdziłem dokumentację i rozmiary plików w repozytorium. Nie wykonywałem w tym opracowaniu testu szybkości ani jakości polszczyzny na konkretnym komputerze. Poniżej oddzielam wymagania producenta od własnego pomiaru metadanych i instrukcji pierwszego uruchomienia.

Co oznacza nazwa GPT-OSS-20B

Karta OpenAI opisuje około 21 miliardów parametrów ogółem i 3,6 miliarda aktywnych parametrów w architekturze mixture-of-experts. To nie znaczy, że na dysku wystarczy zapisać tylko aktywną część. Model udostępniono na licencji Apache 2.0, a dostępne poziomy rozumowania to low, medium i high.

Wagi pozwalają samodzielnie obsługiwać model, ale trzeba jeszcze wybrać środowisko, zadbać o format rozmowy i sprawdzić wynik. Nie traktuję określenia „otwarty” jako zapewnienia, że każdy element danych treningowych i procesu uczenia został opublikowany. Różnicę między modelem a aplikacją wyjaśniam w dziale modele AI.

Ile miejsca zajmują pliki i skąd biorą się różne liczby

9 września 2026 odczytałem metadane konkretnej rewizji repozytorium OpenAI. Trzy główne części safetensors zajmowały razem 13 761 316 904 bajty. Osobno repozytorium zawierało plik w katalogu original i wersję dla Metal. To warianty danych dla różnych sposobów uruchomienia, nie polecenie pobrania wszystkich naraz.

Policzyłem, że pobranie wszystkich tych grup oznaczałoby 41 273 504 288 bajtów samych wag, czyli około 41,27 GB dziesiętnych. To około trzykrotność jednego wariantu. Tokenizer i konfiguracja są dodatkowo. Ten pomiar dotyczy plików w przypiętej rewizji, nie transferu Ollamy ani pamięci zajętej podczas generowania odpowiedzi.

W bibliotece Ollamy wariant 20b jest opisany jako około 14 GB. Inny zapis jednostek, format pakietu i narzut plików mogą dawać inną liczbę w interfejsie. Rozmiar pobierania, wolne miejsce na dysku i RAM to trzy różne informacje. Nie wybieram karty graficznej wyłącznie na podstawie rozmiaru pliku.

Czy komputer z 16 GB pamięci wystarczy

OpenAI opisuje uruchamianie wariantu MXFP4 w 16 GB pamięci. To warunek dotyczący określonego sposobu wykonania, a nie obietnica płynnej pracy na każdym laptopie z taką ilością RAM. System, inne programy, bufor kontekstu i użyte środowisko również potrzebują pamięci.

Przed zakupem sprzętu sprawdziłbym zgodność GPU, ilość wolnej pamięci i małą próbę w docelowym środowisku. Najpierw krótka rozmowa, dopiero potem długi dokument. Jeżeli celem jest po prostu sporadyczna pomoc w pisaniu, łatwiejszym punktem odniesienia może być darmowy ChatGPT. Lokalny model wybieram wtedy, gdy samodzielne uruchomienie ma konkretną wartość.

Jak uruchomić GPT-OSS-20B przez Ollamę

To instrukcja z dokumentacji, nie zapis wykonanej tutaj instalacji. Zainstaluj aktualną Ollamę z jej oficjalnej strony i upewnij się, że masz miejsce na model. Następnie w terminalu użyj polecenia podanego w bibliotece:

ollama run gpt-oss:20b

Przy pierwszym uruchomieniu potrzebne będzie pobranie modelu. Do próby wpisz krótki tekst po polsku i poproś o jego streszczenie bez dodawania faktów. Zapisz czas oraz sprawdź, czy odpowiedź zachowała liczby i nazwy. Nie rozpoczynaj od poufnych dokumentów ani automatycznego dostępu do całego dysku.

Dokumentacja Ollamy opisuje polecenie sprawdzające załadowane modele:

ollama ps

Kolumna PROCESSOR informuje o użyciu CPU, GPU lub obu. Dzięki temu można odróżnić problem konfiguracji od przypuszczenia, że model „zawsze jest wolny”. Zachowaj również nazwę modelu, wersję środowiska i ustawiony kontekst. Bez nich cudza liczba tokenów na sekundę niewiele mówi o Twoim komputerze.

Format Harmony i narzędzia wymagają właściwej obsługi

Repozytorium OpenAI opisuje format Harmony i przykładowe środowiska. Przy samodzielnej integracji nie wystarczy skleić dowolnych fragmentów tekstu i założyć, że role rozmowy będą rozpoznane poprawnie. Korzystaj z obsługi formatu przygotowanej dla tego modelu.

Wywołanie narzędzia przez model i rzeczywiste wykonanie operacji to dwa oddzielne etapy. Aplikacja musi udostępnić funkcję, odebrać żądanie i zwrócić wynik. Dopiero dodanie wyszukiwarki pozwala pobierać bieżące strony, a dopiero dodanie narzędzia plikowego daje dostęp do plików. Model nie dostaje tych możliwości od samej nazwy „agentowy”.

Gdzie lokalny model zawodzi i co trzeba sprawdzić po polsku

Nie podaję wyniku jakości polszczyzny, którego tutaj nie zmierzyłem. Przygotowałbym własny zestaw: odmianę nazw, zachowanie danych w streszczeniu i pytanie, na które nie ma odpowiedzi w podanym materiale. W tym ostatnim sprawdzam, czy model przyzna brak informacji, zamiast dopisać wiarygodnie brzmiącą odpowiedź.

Lokalność nie rozwiązuje automatycznie wszystkich kwestii prywatności. Osobno sprawdź interfejs, logi, dodatki i wywołania zewnętrznych narzędzi. Czat podłączony do zdalnego serwera nadal wysyła do niego treść, nawet jeśli używa modelu z otwartymi wagami. Do pierwszej próby wystarczy wymyślony dokument.

Jak ocenić, czy zostać przy GPT-OSS-20B

Wybierz jeden powtarzalny proces, na przykład streszczanie własnych notatek. Przygotuj stałą instrukcję i przykłady odpowiedzi akceptowalnych oraz błędnych. Wzór instrukcji znajdziesz w poradniku czym jest prompt. Porównaj liczbę potrzebnych poprawek z narzędziem, którego już używasz.

Jeśli wynik jest poprawny, a obsługa mieści się w Twoim czasie i zasobach, dopiero wtedy zwiększaj długość materiału lub dodawaj narzędzia. Gdy model gubi fakty w krótkiej notatce, większy kontekst nie jest dowodem rozwiązania problemu. Najpierw ustal, czy zawodzi instrukcja, dane, konfiguracja czy sama odpowiedź.