Przejdź do treści
promptowy.com / AI-begrippenlijst / Transformer-model
Basis

Transformer-model

Een transformer-model is een AI-architectuur die via een slim aandachtsmechanisme verbanden legt tussen woorden in een tekst, ongeacht hun onderlinge afstand.

Een transformer-model is een type neuraal netwerk dat speciaal is ontworpen om de context en betekenis van gegevens, zoals menselijke taal, razendsnel te analyseren. Waar traditionele taalmodellen een zin woord voor woord van links naar rechts verwerkten, bekijkt een transformer de volledige invoer in één keer. De letter T in bekende systemen zoals GPT staat dan ook voor Transformer: het vormt het fundament onder vrijwel alle moderne generatieve kunstmatige intelligentie.

De grote doorbraak van deze architectuur schuilt in de manier waarop het verbanden legt binnen enorme lappen tekst. Door niet alleen naar de volgorde van woorden te kijken, maar vooral naar de onderlinge relaties, begrijpt het model veel beter wat een spreker of schrijver daadwerkelijk bedoelt.

Het geheim van de architectuur: het aandachtsmechanisme

Het kloppende hart van een transformer-model is het zogeheten aandachtsmechanisme, in het Engels attention genoemd. Dit mechanisme berekent voor ieder woord in een zin hoe belangrijk de overige woorden zijn voor de betekenis. Hierdoor kan het model moeiteloos omgaan met dubbelzinnigheden en verwijzingen die ver uit elkaar staan.

Stel dat een model de volgende zin leest: De medewerker van de bibliotheek in Leuven legde het boek op tafel omdat het te zwaar was. Een mens begrijpt direct dat 'het' terugslaat op het boek en niet op de tafel of de bibliotheek. Voor oudere computermodellen was dit buitengewoon lastig. Een transformer berekent echter wiskundige aandachts-scores tussen 'zwaar' en 'boek', waardoor de juiste samenhang direct wordt herkend.

Een alledaags voorbeeld: de klantenservice in Utrecht

Om te zien wat dit in de dagelijkse praktijk betekent, kijken we naar een middelgrote fietsenwinkel met een webshop in Utrecht. Dagelijks komen daar honderden e-mails binnen via het contactformulier. Een klant schrijft:

Ik heb vorige week een elektrische bakfiets besteld voor onze schoolgaande kinderen in De Bilt, maar de accu laadt niet goed op na de eerste lange rit in de regen. Hebben jullie een vervangend exemplaar op voorraad of moet ik langskomen bij het servicepunt?

Een klassiek algoritme zou wellicht aanslaan op losse zoektermen zoals 'schoolgaande kinderen', 'regen' of 'Utrecht', en daardoor de kern missen. Een transformer-model verwerkt de mail heel anders:

  • Contextueel koppelen: Het model verbindt 'vervangend exemplaar' direct aan 'accu' en niet aan de gehele bakfiets.
  • Probleemanalyse: Het herkent dat het hoofdprobleem een defect laadproces betreft na regenval.
  • Gerichte actie: De winkel kan het bericht automatisch routeren naar de afdeling accu-garanties, inclusief een voorgesteld antwoord over de openingstijden van het servicepunt.

Waarom transformermodellen de standaard zijn

Naast taalbegrip heeft de transformer-architectuur nog een enorm voordeel: schaalbaarheid. Omdat de berekeningen voor alle woorden tegelijkertijd plaatsvinden (parallellisatie), kunnen deze modellen veel efficiënter worden getraind op krachtige grafische processors dan oudere, sequentiële netwerken.

Hierdoor kan een model gigantische hoeveelheden tekst verwerken, van Nederlandstalige juridische wetteksten en Wikipedia-artikelen tot fora en krantenberichten. Hoe meer data en rekenkracht aan de architectuur worden toegevoegd, hoe consistenter en natuurlijker de antwoorden worden.

Veelgemaakte denkfout: menselijk denkvermogen

Een hardnekkig misverstand is dat een transformer-model echt 'begrijpt' wat het leest zoals een mens dat doet. Een transformer voelt geen emoties, heeft geen bewustzijn en bezit geen eigen ervaringen op de fiets door de regen. Het model voert puur statistische kansberekeningen uit. Het weet op basis van miljoenen eerdere teksten welke woorden statistisch gezien logisch op elkaar volgen wanneer bepaalde contextuele aandachtspunten oplichten. Wie een transformer inzet, moet zich realiseren dat overtuigend klinkende tekst niet automatisch feitelijk juist is.

Veelgestelde vragen

Waar staat de T in GPT voor?

De T staat voor Transformer. Het verwijst naar de specifieke netwerkarchitectuur die het model gebruikt om taal te verwerken en te genereren.

Wat is het verschil tussen een transformer en een traditioneel neuraal netwerk?

Klassieke netwerken verwerken tekst lineair en woord voor woord, wat traag is en context over lange afstanden doet vervagen. Een transformer verwerkt de hele zin tegelijk en meet de onderlinge relevantie van woorden direct met een aandachtsmechanisme.

Kunnen transformermodellen alleen voor tekst worden gebruikt?

Nee. Hoewel ze zijn doorgebroken met geschreven taal, wordt dezelfde techniek inmiddels ook met veel succes toegepast op afbeeldingen, audio, computercode en zelfs DNA-structuren.

← Alle termen in de AI-begrippenlijst

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›