DeepSeek z 284 mld parametrów w 64 GB RAM, bez karty graficznej. Czy uruchomisz go u siebie?

👁 118 przeczytań

8 listopada rano na Hacker News trafiło repozytorium z obietnicą, od której kręci się w głowie: DeepSeek V4 Flash, model z 284 miliardami parametrów, w 64 GB zwykłej pamięci RAM, bez karty graficznej. Pierwszy komentarz pod wpisem zadawał jedno pytanie: w jakiej kwantyzacji? Odpowiedź brzmi: średnio 1,71 bita na wagę. Przeczytałem dokumentację, policzyłem ceny pamięci w polskich sklepach i sprawdziłem, czy model zmieściłby się w moim komputerze.

Projekt llama-modchip powstał na GitHubie 29 października, a po wpisie na Hacker News zebrał w dobę 431 punktów i 193 komentarze. To nie jest nowy program do czatu, tylko zestaw poprawek do llama.cpp, silnika, na którym stoi większość domowych uruchomień modeli, plus przerobiony plik modelu na Hugging Face.

Jak 284 miliardy mieszczą się w 64 GB

DeepSeek V4 Flash to model typu MoE, czyli mieszanka ekspertów. W każdej z jego 43 warstw siedzi 256 wyspecjalizowanych podsieci, a przy każdym słowie router wybiera sześć z nich i jedną wspólną. Dlatego z 284,33 mld parametrów przy jednym tokenie pracuje tylko 13,17 mld. Liczyć trzeba niewiele, ale cały model musi leżeć w pamięci, bo przy następnym słowie router może sięgnąć po innych ekspertów.

Tu zaczyna się ściskanie. Najmniejsza publiczna wersja DeepSeeka od Unsloth (UD-IQ1_S) waży 76,87 GiB. W 64 GB pod Linuksem zostaje dla programów ok. 62,5 GiB, więc taki plik kończy się wymianą na dysk albo zabiciem procesu. Autorzy zeszli do 56,56 GiB. Większość ekspertów zapisali w 1,56 bita na wagę, kilka wrażliwych warstw na brzegach w 1,75 i 2,06 bita, a uwagę, osadzenia i wspólnych ekspertów zostawili w wyższej precyzji. Średnio wychodzi 1,71 bita. Dla porównania: popularny format Q4_0, który wiele osób pobiera do Ollamy, ma 4,5 bita na wagę.

Model nie jest doczytywany z dysku w trakcie pracy. Cały plik siedzi w RAM, bez pliku wymiany, i to on jest warunkiem całej sztuczki. Druga część projektu to przepisane procedury liczenia pod procesor: mnożenie macierzy pocięte na kawałki dopasowane do pamięci podręcznej L1, L2 i L3 oraz wagi ekspertów przepuszczane tak, żeby nie wypychały z cache tego, co potrzebne przy następnym słowie. Według autorów czytanie promptu przyspieszyło z 25 do 44,36 tokenu na sekundę, a pisanie z 5,91 do 9,06-9,95. Do tego dochodzi mały moduł zgadujący kolejne słowa, nazwany po silniku szachowym Stockfish, który podbija wynik do 11,5-14,7 tokenu na sekundę.

Wszystkie te liczby zmierzył autor projektu na jednym komputerze: laptopowym Ryzenie 9 9955HX z 16 rdzeniami i 64 GB DDR5. Wyniki od innych użytkowników dotyczą tylko mniejszego Nemotrona 30B.

Bezstratnie, tylko względem czego

Domyślny tryb autorzy nazywają bezstratnym: wyniki zgadzają się co do bitu. Porównują je jednak z niezałatanym programem uruchomionym na tym samym, już ściśniętym pliku. To dowód, że ich przyspieszenia nie psują obliczeń, a nie dowód, że model w 1,71 bita jest tak dobry jak oryginał. Test jakości 100 na 100, którym chwali się repozytorium, dotyczy Nemotrona 30B. Porównania ściśniętego DeepSeeka z pełną wersją w dokumentacji nie znalazłem.

Na Hacker News to był główny wątek. Jeden z komentujących przypomniał badania, według których najlepszy stosunek rozmiaru do jakości wypada przy 4 bitach, a niżej jakość spada szybko. Inny, który używał wersji 0731, napisał, że dla niego poniżej ok. 3,75 bita model nadaje się słabo. Ktoś na Ryzenie 7945HX z 96 GB sprawdził Nemotrona i zobaczył pisanie w tym samym tempie co zwykłe llama.cpp. Sporo osób narzekało też, że README wygląda na wygenerowane przez AI.

Jest jeszcze sprawa wersji. Projekt uruchamia DeepSeek-V4-Flash-0731 z lipca. Oficjalne API DeepSeeka już tej wersji nie podaje: według cennika stare nazwy modeli kierują teraz do nowszego V4.1-Flash-1017. Ten nowszy model ma pliki o wadze ok. 510 GB, o czym pisałem przy premierze wersji 1017. Lokalnie dostajesz więc starszego DeepSeeka w mocno ściśniętej postaci, a w API nowszego w pełnej.

Sprawdziłem swój komputer

Pracuję na stacji z procesorem Intel Core i9-14900KF, kartą RTX 4090 z 24 GB pamięci i dwiema kośćmi DDR5 po 32 GB. Windows 11 widzi 63,8 GiB. Na papierze to wystarcza: 58,9 GiB szczytowego zużycia mieści się w 63,8. Gdy jednak sprawdziłem pamięć w zwykły dzień pracy, z przeglądarką, edytorem i kilkoma programami, wolne było 36,4 GiB. Pod Windowsem z otwartymi programami ten model się nie zmieści.

Przeszkód jest więcej. Paczka dla Windows oferuje tylko mniejsze modele, a gotowy program dla DeepSeeka jest na Linuksa. Podsystem WSL2 dostaje domyślnie połowę pamięci komputera, u mnie 32 GB, więc trzeba by zmienić limit albo uruchomić Linuksa obok Windowsa. Moja karta graficzna nic tu nie pomoże: format Fractal-64, w którym zapisano część modelu, autorzy liczą tylko na procesorze. Procesor też nie jest idealny, bo najmocniejsze przyspieszenia napisano pod AVX-512, którego 14900KF nie ma. Dla AVX2 jest osobna ścieżka, ale wyniku DeepSeeka na Intelu w tabeli nie ma.

Przy okazji wyszła rzecz, której się nie spodziewałem. Moje kości Kingston Fury są opisane na 6000 MT/s, a pracują na 4000 MT/s. Przy pisaniu każdego tokenu procesor czyta z RAM wagi aktywnych ekspertów, więc to przepustowość pamięci najbardziej ogranicza tempo. Werdykt: po starcie z Linuksa model zmieściłby się u mnie na styk, ale spodziewam się wolniejszego pisania niż u autora, zwłaszcza zanim włączę w BIOS-ie profil pamięci. Testu nie robiłem. Pobranie 61 GB i instalacja Linuksa to robota na osobny dzień, a wyników nie będę zgadywał.

Rachunek: pamięć czy API

Kto nie ma 64 GB, musi je kupić, a pamięć jest dziś droga. Zestaw Kingston Fury Beast 64 GB (2 x 32 GB) DDR5-6000 CL36 kosztował 9 listopada na Ceneo od 6089,73 zł w 10 ofertach, a w x-komie 7129 zł.

Policzyłem, co daje ta kwota w API. 6089,73 zł to 1553,54 USD po kursie NBP z 9 listopada (3,9199 zł). DeepSeek bierze w godzinach szczytu 1,2 USD za milion tokenów odpowiedzi, poza szczytem połowę tego. Za cenę samej pamięci kupisz więc ok. 1,29 mld tokenów odpowiedzi w szczycie i dwa razy tyle poza nim. Komputer piszący 9-10 tokenów na sekundę produkowałby tyle ponad cztery lata bez przerwy. Na mniejszą skalę: milion tokenów to w API 4,70 zł, a lokalnie 28-31 godzin pracy procesora. Prądu i tokenów wejścia w tym rachunku nie liczę.

Wolne jest też czytanie. Przy 44 tokenach na sekundę prompt z 10 tys. tokenów, czyli kilka stron dokumentu, procesor przetwarza ok. 3 min 45 s, zanim napisze pierwsze słowo.

Lokalny DeepSeek ma sens w trzech sytuacjach: gdy dane nie mogą wyjść z firmy, gdy pracujesz bez internetu albo gdy masz już 64 GB i Linuksa, więc eksperyment nic nie kosztuje. Do codziennej pracy taniej i szybciej wychodzi API, które opisałem w przewodniku DeepSeek: czat, API i koszty, albo darmowy czat, o którym piszę w zestawieniu darmowe plany czy tanie API. Modele, które naprawdę dobrze działają na domowym sprzęcie, zbieram w przewodniku Lokalne AI.

Autor projektu zbiera wyniki z innych procesorów przez zgłoszenia na GitHubie. Na 9 listopada jedyny pomiar DeepSeeka 284B w tej tabeli pochodzi od niego samego. Pierwszy niezależny wynik na zwykłym pecie z 64 GB powie o tym projekcie więcej niż całe README.

Najczęstsze pytania

Czy uruchomię ten model w Ollamie albo LM Studio?

Nie. Plik używa własnego typu danych (Fractal-64), którego zwykłe llama.cpp, Ollama i LM Studio nie znają i odrzucają z błędem o nieznanym typie tensora. Potrzebny jest program z łatkami llama-modchip.

Czy karta graficzna przyspieszy DeepSeeka w llama-modchip?

W tej wersji nie. Część modelu zapisana w formacie Fractal-64 działa tylko na procesorze. Tryb z kartą graficzną autorzy przygotowali dla mniejszych modeli, Qwen3 i Nemotron 30B.

Ile miejsca na dysku potrzeba?

Trzy pliki modelu ważą razem 60,73 GB. W trakcie pracy model siedzi w RAM, więc dysk wpływa tylko na czas ładowania.

Mam 32 GB RAM. Na co mogę liczyć?

Na DeepSeeka 284B nie. Dla komputerów z 16-32 GB autorzy proponują Nemotron 3.5 30B w wersji 14,35 GiB, który według ich pomiarów pisze 25-60 tokenów na sekundę.

Czytasz Promptowego częściej? Dodaj go do preferowanych źródeł w Google, a nowe teksty będą wyżej w Twoich wynikach.

Źródła

• GitHub: synchopate/llama-modchip - README, FAQ, dokumentacja DeepSeek V4 i paczki Windows, wersja 2.4.0 (odczyt 9.11.2026)
• Hugging Face: DeepSeek-V4-Flash-0731-Fractal-64GB-CPU-GGUF - rozmiary plików
• Hugging Face: DeepSeek-V4-Flash-0731 - oryginalny model, licencja MIT
• Hacker News: dyskusja z 8.11.2026 - 431 punktów, 193 komentarze
• DeepSeek: cennik API (odczyt 9.11.2026)
• Microsoft Learn: konfiguracja WSL - domyślny limit pamięci
• Ceneo i x-kom: Kingston Fury Beast 64 GB DDR5-6000 CL36 (KF560C36BBE2K2-64), ceny z 9.11.2026
• NBP: kurs USD z 9.11.2026
• Własne sprawdzenie sprzętu (Get-CimInstance, Windows 11), 9.11.2026. Modelu nie pobierałem i nie uruchamiałem.

Sprawdzone: 9.11.2026.