Przejdź do treści
promptowy.com / AI-begrippenlijst / Kwantisatie (quantization)
Modellen en training

Kwantisatie (quantization)

Kwantisatie is een techniek om AI-modellen compacter en sneller te maken door getallen met minder precisie op te slaan, met minimaal kwaliteitsverlies.

Kwantisatie (in het Engels quantization) is een compressietechniek voor kunstmatige intelligentie waarbij de interne parameters van een model met minder digitale precisie worden opgeslagen. In plaats van berekeningen uit te voeren met extreem gedetailleerde kommagetallen, rondt men deze waarden af naar compactere getalindelingen. Hierdoor neemt het AI-model aanzienlijk minder werkgeheugen in beslag en draait het merkbaar sneller, terwijl de nauwkeurigheid van de antwoorden vrijwel gelijk blijft.

Door een neuraal netwerk te kwantiseren, verandert een gigantisch rekenmodel dat oorspronkelijk alleen in een professioneel datacenter paste in een handzaam bestand. Deze ingreep vormt de basis voor het lokaal gebruiken van open modellen op gewone consumentenhardware.

Hoe modelkwantisatie precies werkt

Tijdens het trainen van een AI-model worden biljoenen gewichten (weights) opgeslagen als 16-bits of 32-bits drijvende-kommagetallen (floating-point). Dit biedt maximale wiskundige precisie, maar vereist enorme hoeveelheden videogeheugen (VRAM). Bij kwantisatie worden deze getallen geconverteerd naar bijvoorbeeld 8-bits of zelfs 4-bits gehele getallen.

Je kunt dit proces vergelijken met het afronden van bedragen in het dagelijks leven. Wie een kassabon van een bouwmarkt in Antwerpen of Eindhoven controleert, hoeft de prijzen niet tot zes cijfers achter de komma te weten: afronden op hele centen geeft nog steeds een betrouwbaar eindtotaal. AI-modellen blijken verrassend robuust tegen dit soort afrondingen. De belangrijkste stappen bij kwantisatie zijn:

  • Schaalverdeling bepalen: Het bereik van de oorspronkelijke kommagetallen wordt opgedeeld in gelijke stappen.
  • Toewijzen aan discrete niveaus: Ieder oorspronkelijk gewicht krijgt het dichtstbijzijnde compacte getal toegewezen, bijvoorbeeld een waarde tussen -8 en 7 bij een 4-bits compressie.
  • Opslag en inferentie: Het modelbestand krimpt met wel zeventig procent, waardoor de grafische kaart veel minder data per seconde hoeft te verplaatsen.

Waarom kwantisatie cruciaal is voor lokale AI

De opkomst van open-source taalmodellen heeft geleid tot een grote beweging van ontwikkelaars, hobbyisten en bedrijven die AI op eigen servers willen draaien. Zonder kwantisatie heeft een middelgroot taalmodel al snel professionele serverkaarten nodig die duizenden euro's kosten en veel stroom verbruiken. Door het model terug te brengen naar 4-bit precisie, past hetzelfde model plotseling in het geheugen van een moderne laptop of een doorsnee desktopcomputer.

Voor organisaties in Nederland en Vlaanderen is dit een enorme stap vooruit. Het stelt teams in staat om te experimenteren met geavanceerde taalmodellen zonder afhankelijk te zijn van externe clouddiensten, wat zowel de energiekosten als de operationele complexiteit verlaagt.

Praktijkvoorbeeld: Een notariskantoor in Gent of Arnhem

Neem een middelgroot notariskantoor met vestigingen in Gent en Arnhem. Het kantoor wil een AI-assistent inzetten om lange dossiers, aktes en contracten automatisch samen te vatten. Vanwege strikte privacywetgeving en het beroepsgeheim mag deze vertrouwelijke data onder geen beding naar buitenlandse cloudservers worden gestuurd.

Met een ongekwantiseerd model zou het kantoor moeten investeren in een volwaardig serverrack met gespecialiseerde koeling. Dankzij kwantisatie downloadt de systeembeheerder een compact 4-bits modelbestand. Dit model draait probleemloos op een krachtige kantoor-pc onder het bureau van de IT-medewerker. De medewerkers krijgen razendsnel antwoord op juridische zoekvragen, terwijl alle cliëntgegevens veilig binnen het eigen bedrijfsnetwerk blijven.

Veelgemaakte fouten bij kwantisatie

Een hardnekkig misverstand is dat meer compressie altijd beter is. Hoewel de stap van 16-bit naar 8-bit of 4-bit doorgaans nauwelijks merkbaar is in de praktijk, leidt een extreme kwantisatie (zoals 2-bit) vaak tot duidelijke achteruitgang. Het model kan dan gaan hallucineren, de draad van een gesprek kwijtraken of grammaticafouten maken.

Daarnaast verwarren beginners kwantisatie soms met het snoeien (prunen) van een model. Bij snoeien worden overbodige verbindingen volledig verwijderd, terwijl bij kwantisatie alle parameters blijven bestaan, maar simpelweg met minder cijfers achter de komma worden genoteerd. Het kiezen van het juiste evenwicht tussen bestandsgrootte en tekstkwaliteit is essentieel voor een succesvol resultaat.

Veelgestelde vragen

Verliest een AI-model veel intelligentie door kwantisatie?

Bij gangbare methoden zoals 4-bits of 8-bits kwantisatie is het kwaliteitsverlies minimaal en voor de meeste toepassingen onmerkbaar. Pas bij extreme afronding naar 2-bit of 3-bit nemen logica- en stijlfouten duidelijk toe.

Waarom worden modellen niet direct getraind in 4-bit?

Tijdens de trainingsfase moeten miljarden minuscule correcties worden berekend. Voor die wiskundige optimalisatie is maximale precisie (16-bit of 32-bit) noodzakelijk; pas wanneer het model 'af' is, kan het zonder grote problemen worden afgerond.

Wat levert kwantisatie concreet op voor mijn hardware?

Het modelbestand wordt doorgaans drie tot vier keer kleiner. Daardoor past een model dat voorheen 32 GB videogeheugen vereiste ineens in een grafische kaart of laptop met slechts 8 tot 12 GB werkgeheugen.

← Alle termen in de AI-begrippenlijst

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›