Kvantisering (quantization)
En teknikk i maskinlæring som reduserer tallpresisjonen i modellens vekter for å spare minne og gjøre beregningene raskere.
Kvantisering i kunstig intelligens er en matematisk teknikk som krymper størrelsen på en ferdigtrent modell ved å redusere presisjonen til tallene den består av. I stedet for å lagre modellens vekter med høye desimaltall, avrundes verdiene til enklere tallformater. Dette gjør at modellen tar dramatisk mindre plass i minnet, krever færre ressurser og svarer raskere.
Uten kvantisering krever moderne språkmodeller enorme mengder videominne på spesialiserte servere. Ved å konvertere tallene fra for eksempel 16-bits flyttall til 8-bits eller 4-bits heltall, kan minnebehovet reduseres med opptil 75 prosent, ofte med et nesten umerkelig tap av forståelse og språklig flyt.
Hvordan fungerer kvantisering i praksis?
For å forstå mekanismen kan man tenke på fargenyanser i et digitalt bilde. Hvis et bilde inneholder millioner av subtile fargesjatteringer, krever det mye lagringsplass. Hvis man reduserer fargepaletten til 256 nøye utvalgte farger, ser bildet fremdeles nesten identisk ut for det menneskelige øyet, men filstørrelsen faller drastisk.
Det samme skjer med vektene i et nevralt nettverk. Vektene bestemmer hvordan signalene flyter gjennom nettverket når modellen analyserer eller genererer tekst. Opprinnelig trenes disse vektene med svært nøyaktige 16-bits eller 32-bits tall, som har mange desimaler (0.1847291...). Kvantiseringsprosessen kartlegger disse kontinuerlige verdiene over til en grovere skala, som 4-bits heltall, ved hjelp av smarte skaleringsfaktorer. Dermed kan fire tall presses inn på den plassen et enkelt tall tidligere krevde.
Lokalt eksempel: En rørleggerbedrift i Drammen
Se for deg en mellemstor rørleggerbedrift i Drammen som vil ha sin egen AI-assistent for å automatisere anbud og gå gjennom interne HMS-dokumenter. Bedriften ønsker ikke å sende sensitive kundedata eller interne prislister ut i en offentlig skytjeneste, og velger derfor å kjøre en åpen språkmodell lokalt på kontoret.
Den opprinnelige modellen i full presisjon krever imidlertid mer enn 30 gigabyte med dedikert grafikkminne for å starte, noe som ville krevd en kostbar spesialbygd server. Ved å ta i bruk en kvantisert 4-bits versjon av den samme modellen, faller minnekravet til rundt 8 gigabyte. Daglig leder kan dermed laste ned og kjøre assistenten direkte på en vanlig bærbar kontormaskin. Modellen forstår fremdeles teknisk norsk rørleggerterminologi og produserer korrekte anbud, helt uten forsinkelser eller skyleverandører.
De viktigste fordelene med kvantisering
- Lavere minnebruk: Reduserer kravet til grafikkminne (VRAM) radikalt, slik at store modeller kan kjøres på forbrukermaskinvare.
- Raskere respons: Heltallsberegninger krever mindre energi og kan ofte behandles raskere av prosessoren enn tunge flyttallsberegninger.
- Enklere lokal distribusjon: Åpner for sikker kjøring av kunstig intelligens på sykehus, i kommuner eller i private bedrifter med strenge personvernkrav.
- Mindre energiforbruk: Lavere beregningskrav gir lavere strømforbruk og mindre varmeutvikling under drift.
Vanlige misforståelser og feil
En vanlig misforståelse er å tro at kvantisering kutter bort faktakunnskap eller fjerner deler av nettverket. Kvantisering fjerner ikke parametere, den endrer bare hvor nøyaktig hver enkelt parameter representeres. Dette er ulikt beskjæring (pruning), der man fysisk fjerner forbindelser i nettverket.
En annen feil er å tro at man ustraffet kan kvantisere så mye man vil. Går man for langt ned i presisjon, for eksempel under 4 bit, begynner modellen ofte å vise tegn til forvirring. Den kan miste evnen til logisk resonnering, gjenta seg selv eller gjøre banale feil i grammatikken. Kunsten er å finne et balansert punkt der ressursbruken er lav, men resonneringsevnen forblir intakt.
Ofte stilte spørsmål
Blir modellen dummere av kvantisering?
Kvalitetstapet ved overgang til for eksempel 8-bit eller moderat 4-bit er som regel minimalt og vanskelig å oppdage i vanlige oppgaver. Drar man kvantiseringen for langt, vil modellen imidlertid miste presisjon i komplekse resonnementer og logikk.
Hva er forskjellen på 4-bit og 8-bit kvantisering?
8-bit gir tilnærmet identisk ytelse som originalmodellen, men halverer minnebruken. 4-bit reduserer minnebruken til en fjerdedel, men kan gi en liten, målbar reduksjon i modellens evne til å løse svært vanskelige oppgaver.
Kan jeg trene en modell som allerede er kvantisert?
Kvantisering brukes hovedsakelig under inferens, altså når modellen genererer svar. Ved ettertrening finnes det likevel spesialiserte metoder som gjør det mulig å tilpasse en kvantisert modell uten å måtte pakke den ut til full presisjon først.
