Qwen3 27B lokalnie: czy zmieści się na RTX 4090?

👁 116 przeczytań

Qwen3.6-27B to otwarty model Alibaby na licencji Apache 2.0, który w testach producenta pisze kod na poziomie dawnego, czternaście razy większego flagowca Qwen. Ma 27 mld parametrów, wszystkie aktywne przy każdym tokenie, więc pytanie o kartę graficzną jest tu prostsze niż przy modelach typu MoE. Policzyłem z rozmiarów plików i konfiguracji modelu, które warianty zmieszczą się w 24 GB na RTX 4090 i z jakim kontekstem.

Najpierw data, bo w sieci krąży błędna. Repozytorium Qwen/Qwen3.6-27B powstało na Hugging Face 21 kwietnia 2026 r., a ostatnia zmiana plików jest z 24 kwietnia. To nie jest październikowa premiera, tylko model, który od pół roku żyje w społeczności: pod kartą modelu jest już 754 kwantyzacji przygotowanych przez innych, a w Ollamie osobna rodzina tagów. Nowością jest raczej to, że coraz więcej osób sięga po niego jako po lokalnego asystenta do kodu.

Gęsty model z pamięcią, która nie puchnie

„Gęsty” znaczy, że do policzenia każdego słowa model używa wszystkich swoich parametrów. Inaczej działa model z tej samej rodziny, Qwen3.6-35B-A3B, który z 35 mld uruchamia na raz tylko około 3 mld - taki model potrafi być szybszy, ale wymaga więcej pamięci na same wagi. O nim pisałem przy okazji silnika Strata.

Ciekawsza jest budowa warstw. Qwen3.6-27B ma ich 64, ułożonych w 16 bloków: w każdym trzy warstwy Gated DeltaNet i jedna zwykła warstwa uwagi. DeltaNet to tzw. uwaga liniowa. Zamiast zapamiętywać każdy przeczytany token, trzyma stałej wielkości „notatnik”, który aktualizuje w trakcie czytania. Pełną, rosnącą pamięć kontekstu (KV cache) mają tylko 16 warstw na 64. Dla lokalnego uruchomienia to dobra wiadomość, bo właśnie ta pamięć zjada kartę przy długich rozmowach.

Model czyta tekst, obrazy i wideo. Natywnie obsługuje 262 144 tokeny kontekstu, a z techniką YaRN do 1,01 mln, choć producent ostrzega, że rozciąganie kontekstu może pogorszyć wyniki na krótkich tekstach. W karcie modelu jest jeszcze jedna wskazówka, która zaważy na rachunku: żeby zachować zdolność „myślenia”, Qwen zaleca kontekst co najmniej 128 tys. tokenów.

Wyniki według Qwena

Liczby poniżej pochodzą z karty modelu, czyli od producenta. Niezależnego powtórzenia tych testów nie widziałem.

Z tej tabeli wynika jedna mocna teza i jedno zastrzeżenie. Teza: w zadaniach agentowych przy kodzie (SWE-bench, Terminal-Bench) model 27B dogania własnego poprzednika z 397 mld parametrów i w Terminal-Bench remisuje z Claude Opus 4.5. Zastrzeżenie: Opus 4.5 to dziś starsza generacja, a obecny Opus 5.5 w tym zestawieniu się nie pojawia. W wiedzy ogólnej (MMLU-Pro) nowy Qwen stoi w miejscu względem wersji 3.5. Porównanie z Gemmą 4 31B, którą opisywałem przy uruchamianiu na tej samej karcie, wypada zdecydowanie na korzyść Qwena przy kodzie.

Rachunek dla RTX 4090

Do policzenia potrzebne są trzy składniki: wagi, pamięć kontekstu i zapas.

• Wagi. Biorę rzeczywiste rozmiary plików GGUF z repozytorium unsloth/Qwen3.6-27B-GGUF. Hugging Face podaje je w gigabajtach dziesiętnych, a karta ma 24 GiB, czyli około 25,8 GB w tych samych jednostkach.
• Pamięć kontekstu. Z konfiguracji modelu: 16 warstw pełnej uwagi, 4 głowice klucz-wartość, wymiar głowicy 256. W formacie FP16 daje to 64 KiB na każdy token, czyli 2,15 GB na 32 tys. tokenów, 8,59 GB na 128 tys. i 17,18 GB na pełne 262 tys. Kwantyzacja tej pamięci do q8_0 zmniejsza ją mniej więcej o połowę: odpowiednio 1,14, 4,56 i 9,13 GB. Stały „notatnik” warstw DeltaNet to według moich obliczeń około 0,15 GB, niezależnie od długości rozmowy.
• Zapas. Na sterownik, pulpit Windowsa i bufory obliczeń przyjmuję 1,5 GB. To założenie, nie pomiar - na Linuksie bez pulpitu zostanie więcej.

Do dyspozycji zostaje więc około 24,3 GB. Tak wygląda to dla najpopularniejszych wariantów:

Moduł do obrazów (mmproj w F16) waży dodatkowe 0,93 GB i potrzebny jest tylko wtedy, gdy chcesz wysyłać modelowi zrzuty ekranu czy zdjęcia. Czym różnią się Q4_K_M, Q5_K_M i Q6_K i ile jakości tracisz przy mocniejszej kompresji, tłumaczyłem w tekście o GGUF i kwantyzacji, a ogólną metodę liczenia pamięci w poradniku o VRAM.

Co bym wybrał

Na RTX 4090 rozsądnym punktem jest Q4_K_M albo UD-Q4_K_XL z kontekstem 128 tys. i pamięcią kontekstu w q8_0. To jedyna kombinacja, która spełnia zalecenie Qwena co do kontekstu przy myśleniu i zostawia jeszcze kilka gigabajtów zapasu. Q5_K_M ma sens, jeśli pracujesz na krótszych zadaniach. Q6_K oznacza rezygnację z długiego kontekstu, a więc z tego, do czego model jest najlepszy: pracy agenta nad repozytorium.

W Ollamie domyślny tag qwen3.6:27b waży 18-19 GB, a wariant qwen3.6:27b-q4_K_M 17 GB. Żeby zmieścić długi kontekst, trzeba włączyć flash attention i kwantyzację pamięci kontekstu zmiennymi OLLAMA_FLASH_ATTENTION=1 i OLLAMA_KV_CACHE_TYPE=q8_0, a długość ustawić przez OLLAMA_CONTEXT_LENGTH. W llama.cpp to samo robią parametry -c 131072 -fa on -ctk q8_0 -ctv q8_0. Prędkości nie podaję, bo tego modelu sam nie mierzyłem. Jak ten sam sprzęt radzi sobie z innymi modelami po polsku, pokazuje mój test 10 modeli na 8-24 GB, a całą rodzinę Qwen opisuję w przewodniku po Qwen. Pozostałe teksty o modelach na własnym komputerze są w dziale lokalne AI.

Najczęstsze pytania

Czy Qwen3.6-27B można używać komercyjnie?

Tak. Wagi są na licencji Apache 2.0, która pozwala na użycie komercyjne, modyfikacje i dalszą dystrybucję.

Czy pójdzie na karcie 16 GB?

Z rachunku wynika, że tylko w mocno skompresowanych wariantach. Q3_K_M ma 13,59 GB, więc na kontekst zostaje niewiele; UD-IQ2_M (10,85 GB) zostawia więcej miejsca kosztem jakości.

Ile waży pełna wersja?

Oryginalne wagi w BF16 to 27,8 mld parametrów, w Ollamie wariant bf16 zajmuje 56 GB. Na jednej karcie konsumenckiej nie uruchomisz go bez kwantyzacji.