Słownik AI / Kwantyzacja
🏗️ Modele i trening
Kwantyzacja
Odchudzanie modelu przez zapis liczb z mniejszą precyzją - działa szybciej i na słabszym sprzęcie.
Kwantyzacja to technika odchudzania modelu: jego wagi zapisuje się z mniejszą precyzją liczbową (np. 4-bitową zamiast 16-bitowej), przez co plik zajmuje kilkukrotnie mniej pamięci, a obliczenia przyspieszają. Kosztem jest niewielka, często niezauważalna utrata jakości.
To dzięki kwantyzacji duże otwarte modele da się uruchomić na domowym komputerze z kartą graficzną, a nawet na laptopie. Popularne formaty skwantyzowanych modeli krążą w społeczności self-hostingowej i są podstawą lokalnego uruchamiania AI.
Pojęcia powiązane