Przejdź do treści
Sklep

Lokalne AI

Strata: model 125B na karcie 12 GB i 94 tokeny na sekundę. Co wiadomo

Darmowy silnik Strata uruchamia model o 125 mld parametrów na karcie 12 GB. Projekt ma ponad 10 tys. gwiazdek, ale liczby pochodzą od autora - opisuję wymagania i ograniczenia.

Tekst: 3 min czytania
Strata: model 125B na karcie 12 GB i 94 tokeny na sekundę. Co wiadomo
Spis treści 7
  1. Jak 125 mld parametrów mieści się w 12 GB
  2. Wymagania i wyniki według dokumentacji
  3. Co się zmieniło od początku października
  4. Na co uważać
  5. Czy to ma sens na twoim komputerze
  6. Najczęstsze pytania
  7. Źródła

👁 425 przeczytań

Strata to darmowy silnik (licencja MIT), który uruchamia model Qwen3.8-Flash-Next o 125 mld parametrów na komputerze do gier z kartą 12 GB. Według pomiarów autora na RTX 5070 generuje około 94 tokenów na sekundę w krótkiej rozmowie, ale tylko w najmocniej skompresowanym wariancie Q2_0 i przy dużej ilości RAM-u. Niezależnych testów, które by to potwierdzały, nadal brakuje.

Projekt prowadzi Niko Veit (na GitHubie Niko1221/Strata). Kiedy pisałem o nim pierwszy raz, 4 października, miał wersję 0.1.27 i nieco ponad 10 tys. gwiazdek. 30 października jest wersja 0.2.8 z 29 października, 36 tys. gwiazdek i 3,9 tys. forków. Przez ten miesiąc z jednego skryptu instalacyjnego zrobiła się aplikacja na Windowsa, Linuksa i Maca, a obok Qwena doszły dwa kolejne modele.

Jak 125 mld parametrów mieści się w 12 GB

Nie mieści się - i nie musi. Qwen3.8-Flash-Next to model typu mixture of experts: ma 24 576 „ekspertów”, a na każdy token używa około 10 z nich, czyli mniej więcej 6 mld aktywnych parametrów. Do policzenia jednego tokenu potrzebny jest więc ułamek modelu, tylko za każdym razem inny. Strata dzieli pracę tak:

  • na karcie graficznej trzyma ekspertów, których model używa najczęściej;
  • pozostałych trzyma w pamięci RAM;
  • na dysku SSD zostaje druga część plików, około 29 GB tablicy wyszukiwania (n-gramów), czytana w razie potrzeby;
  • przyspiesza generowanie warstwą szkicującą (MTP, odmiana speculative decoding), która zgaduje kolejne tokeny, a duży model je tylko zatwierdza; autor podawał przyspieszenie 1,6-1,8 raza.
Gdzie Strata trzyma model o 125 mld parametrów
Karta (12 GB)najczęściej używani eksperci

→

RAM (dla Q2_0 ok. 44 GB)pozostali eksperci modelu

→

SSDtablica n-gramów i dane doczytywane w razie potrzeby

→

Na tokenok. 10 z 24 576 ekspertów, ok. 6 mld aktywnych parametrów
Źródło: README i dokumentacja projektu Strata, VRAM Calculator. Grafika: promptowy.com.

Z tego wynika rzecz, którą łatwo przeoczyć w nagłówkach: 12 GB to minimum dla karty, nie dla komputera. Cały model w wariancie Q2_0 zajmuje 37,6 GB pamięci (RAM plus VRAM), a dokumentacja podaje prostą regułę: RAM-u musi być co najmniej tyle, ile ważą eksperci, plus około 10 GB. Większa karta przyspiesza model, ale nie zmniejsza potrzebnej ilości RAM-u. Gdy RAM-u brakuje, Strata czyta ekspertów prosto z plików, co według autora jest „dużo wolniejsze”.

Nie przepłacaj za te subskrypcje

Prowadzę sklep z rocznymi dostępami do narzędzi AI - te same konta, o których piszę wyżej, tylko taniej niż w cenniku producenta.

Zobacz, co jest dostępne

Wymagania i wyniki według dokumentacji

Liczby poniżej pochodzą z pliku MODELS.md w repozytorium (stan na 30 października). Prędkości (tokeny na sekundę, RTX 5070 ma 12 GB, RX 9070 XT 16 GB) dotyczą krótkiej rozmowy i zostały zmierzone na starszych wersjach silnika - autor zaznacza, że nowsze bywają szybsze na niektórych kartach, a tabel nie zmierzył ponownie w całości.

WariantPamięćRTX 5070RX 9070 XT
Q2_037,6 GB94 tok/s60 tok/s
IQ2_XS39,2 GB79 tok/s52 tok/s
IQ3_XXS47,0 GB62 tok/s-
IQ3_S54,8 GB53 tok/s-

Pobranie trzech mniejszych wariantów to 66-76 GB, warstwa szkicująca dokłada około 6 GB. Na dysku trzeba więc zarezerwować około 80 GB, najlepiej na SSD. Autor ocenia IQ3_S jako wariant, który na opublikowanych testach dorównuje pełnemu modelowi, a Q2_0 opisuje tylko jako „dobry”. Sam podaje też, że IQ3_S wybiera ten sam najbardziej prawdopodobny token co wersja 8-bitowa w 87,7% przypadków - dla Q2_0 takiej liczby nie ma.

Strata na RTX 5070 12 GB: tokeny na sekundę w krótkiej rozmowie (pomiary autora)
Q2_0
IQ2_XS
IQ3_XXS
IQ3_S
Źródło: docs/MODELS.md projektu Strata, stan na 30.10.2026, bez niezależnych testów. Niższa kwantyzacja = szybciej, ale słabsza jakość. Wykres: promptowy.com.

Co się zmieniło od początku października

Strata wydaje nowe wersje prawie codziennie. Najważniejsze zmiany z ostatnich tygodni:

  • Aplikacja zamiast samego terminala. Są instalatory na Windowsa, Linuksa (AppImage) i Maca z procesorem Apple (M1 i nowsze). Przy pierwszym starcie aplikacja pobiera silnik pod twoją kartę. Skrypty dla terminala (install.ps1 na Windowsie, install.sh na Linuksie i Macu) dalej działają, model uruchamia się poleceniem strata launch.
  • Więcej sprzętu. Oprócz NVIDIA RTX 20-50 lista obejmuje AMD RX 7700/7800/7900 i RX 9060/9070, Radeona AI PRO R9700, Ryzena AI Max (Strix Halo), Intel Arc (na Linuksie) i NVIDIA DGX Spark. Karty RX 6800/6900 mają status eksperymentalny.
  • Kolejne modele. Doszedł mniejszy Qwen3.6-35B-A3B oraz DeepSeek V4.1-Flash (od wersji 0.2.4 z 24 października). DeepSeek na karcie 12 GB jest jednak wolny: autor podaje 4-6 tok/s na RTX 5070 i 9-11 tok/s na RTX 3060, a samo pobranie to 239-274 GB.
  • Wariant do kodu. Qwen3.8-Flash-Next Coder (IQ1_M) ma według autora 55 tok/s na RTX 5070 i około 91% wyniku pełnego modelu w SWE-bench Verified.
  • Zgodne API. Silnik wystawia na komputerze API zgodne z OpenAI i Anthropic, więc da się do niego podpiąć Claude Code, Codex CLI czy OpenCode. Od wersji 0.2.2 można ustawić klucz API.

W wersji 0.2.8 autor domyślnie wyłączył przyspieszenie routingu dla kart NVIDIA z 12 GB, które pojawiło się kilka dni wcześniej. Przy takim tempie zmian wyniki z jednej wersji nie muszą zgadzać się z następną.

Na co uważać

Wszystkie prędkości w repozytorium mierzył autor. Wyniki użytkowników, które zbierałem na początku października, rozjeżdżały się w obie strony: na Reddicie była relacja o ponad 100 tok/s na dwóch RTX 3090 i komentarz o średnio 20 tok/s na RTX 4070 z 64 GB RAM. Do tego dochodzi kompresja. Najszybszy wynik dotyczy Q2_0, czyli wariantu najbardziej odchudzonego, i to on trafił do tytułów. Jeśli zależy ci na jakości odpowiedzi, licz raczej na 50-60 tok/s w IQ3_S i na komputer z 64 GB RAM.

Drugie zastrzeżenie dotyczy bezpieczeństwa. Instalacja to polecenie pobierające i uruchamiające skrypt z internetu, a projekt zmienia się z dnia na dzień i ma tysiące forków o różnej jakości. Instaluj z oficjalnego repozytorium, nie z kopii, i najlepiej na osobnym koncie użytkownika.

Czy to ma sens na twoim komputerze

Jeśli masz kartę z 12-16 GB i 64 GB RAM, Strata jest dziś jedną z niewielu dróg do modelu tej wielkości bez chmury i bez opłat za tokeny. Przy 32 GB RAM-u duży Qwen będzie się dusił - wtedy lepiej sięgnąć po mniejszy Qwen3.6-35B-A3B, który według autora działa na RTX 3060 z prędkością około 60 tok/s.

Jeśli dopiero zaczynasz z lokalnymi modelami, prostsza i lepiej sprawdzona jest Ollama. Ile pamięci potrzebują popularne modele, opisałem przy uruchamianiu Llamy lokalnie, rodzinę Qwen w przewodniku po Qwen, a jak lokalne modele radzą sobie po polsku na RTX 4090 - w teście Bielika, Llamy i Mistrala. Szerszy przegląd jest w dziale lokalne AI.

Najczęstsze pytania

Czy Strata działa na karcie z 8 GB?

Dokumentacja nie podaje minimalnej ilości VRAM dla Qwen3.8-Flash-Next, a wszystkie pomiary autora dotyczą kart od 12 GB. Na 8 GB nikt tego oficjalnie nie mierzył.

Ile RAM-u potrzeba?

Według reguły z dokumentacji: tyle, ile ważą eksperci wybranego wariantu, plus około 10 GB. Dla Q2_0 wychodzi około 44 GB, dla IQ3_S około 60 GB, czyli w obu przypadkach komputer z 64 GB.

Czy Strata działa na Macu?

Tak, jest instalator dla Maców z procesorem Apple (M1 i nowsze). DeepSeek V4.1-Flash wymaga na Macu co najmniej 64 GB pamięci i działa tylko z tekstem.

Czy Strata jest darmowa?

Tak. Silnik ma licencję MIT, a Qwen3.8-Flash-Next jest udostępniany na licencji Qwen Community License 1.0. Płacisz tylko za prąd i sprzęt.

Źródła

Sprawdzone: 30.10.2026

Piotr Olszewski

Autor

Twórca i autor Promptowego, polskiego serwisu o sztucznej inteligencji. Codziennie śledzi premiery modeli, narzędzia i regulacje AI, i tłumaczy je prostym, konkretnym językiem.

O mnie →Wszystkie teksty →

Czytaj dalej

Narzędzia do tego tematu

darmowe, bez kontaWszystkie 29 →
z sieci - nowe teksty w moich serwisach

Wszystkie moje projekty →

Najczęściej czytane

7 dni
  1. 1GPT-6.2 Astra vs Claude Fable 5.2 vs Gemini 4 Carbon: benchmarki i mój test na 7 modelach (z Opus 5.5)
  2. 2Plakat festiwalu z polskim napisem: prompt i test 6 generatorów obrazu (Prompt dnia 14.11)
  3. 330 promptów do ChatGPT Images i 10 do przerabiania zdjęć
🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →