› GGUF to format pliku z modelem językowym dla llama.cpp, a dopisek w nazwie (Q4_K_M, Q6_K, Q8_0) mówi, jak mocno model ściśnięto.
› Krótko: Q4_K_M to rozsądne minimum, Q5_K_M i Q6_K są prawie nieodróżnialne od oryginału, a Q8_0 ma sens, gdy VRAM nie jest problemem.
› 17 października 2026 zmierzyłem to na polskim Bieliku (1.5B, 4.5B i 11B) na RTX 4090: perplexity na prozie Nałkowskiej, zgodność z pełną wersją, szybkość i VRAM.
› Więcej o uruchamianiu modeli u siebie znajdziesz w przewodniku lokalne AI.