Liquid AI udostępnia skwantyzowane modele LFM2.5 z uczeniem przez destylację

👁 131 przeczytań

Liquid AI opublikowało na Hugging Face skwantyzowane checkpointy modeli LFM2.5 w formacie Q4_0, uzyskane techniką Quantization-Aware Distillation (QAD). W ciągu zaledwie dwóch tygodni modele zanotowały blisko 239 tysięcy pobrań i ponad 200 polubień - to wyraźny sygnał zainteresowania społeczności alternatywami wobec klasycznych architektur transformerowych.

Metoda QAD różni się od standardowej kwantyzacji post-treningowej: zamiast kompresować gotowy model, Liquid AI wplata świadomość kwantyzacji bezpośrednio w proces destylacji wiedzy. Efektem mają być mniejsze straty jakości przy agresywnej kompresji do 4 bitów na wagę - co przy modelach z rodziny 1B parametrów przekłada się na realne możliwości wdrożenia na sprzęcie o ograniczonej pamięci.

LFM2.5 to kolejna generacja Liquid Foundation Models, bazujących na oryginalnej architekturze LNN (Liquid Neural Networks) rozwijanej przez Liquid AI od momentu wyodrębnienia się ze środowiska MIT. Firma konsekwentnie stawia na modele efektywne obliczeniowo, a publikacja skwantyzowanych checkpointów wpisuje się w tę strategię - zamiast ścigać się rozmiarem, Liquid AI celuje w stosunek możliwości do kosztów inferencji.

Dla praktyków wdrażających modele na brzegu sieci lub na urządzeniach mobilnych format Q4_0 z natywnym wsparciem w środowiskach takich jak llama.cpp czy Ollama oznacza gotowość do użycia bez dodatkowego przetwarzania.

Dobra kwantyzacja to wciąż niedoceniany element układanki - i dobrze, że ktoś robi to metodycznie, a nie na skróty.

// czytaj dalejLiquid AI wypuszcza LFM2.5-Encoders - szybkie modele do długich kontekstów na CPUNewsyInżynierowie Amazona destylują modele Anthropic, by ciąć koszty przed nową taryfą za tokenyNewsyLiquid AI przyspiesza inferencję do 3,2x dzięki modelowi LFM2.5-DSparkNewsy