Embeddings (vectoren)
Embeddings zijn reeksen getallen waarmee kunstmatige intelligentie de betekenis van woorden, teksten of afbeeldingen meetbaar en vergelijkbaar maakt.
Een embedding is een wiskundige vertaling van tekst, beeld of geluid naar een lange reeks getallen, ook wel een vector genoemd. In plaats van te kijken naar losse letters of pixels, legt een embeddingmodel de onderliggende betekenis van de inhoud vast. Concepten die inhoudelijk op elkaar lijken, krijgen getallenreeksen die dicht bij elkaar liggen in een denkbeeldige, multidimensionale ruimte.
Voor computers zijn woorden simpelweg reeksen tekens zonder inherente betekenis. Het woord fiets heeft voor een traditioneel algoritme niets te maken met tweewieler, omdat de letters totaal verschillen. Met embeddings verandert dat fundamenteel: de betekenis wordt omgezet in coördinaten. Daardoor snapt software dat een fiets, een e-bike en een bakfiets bij elkaar in de buurt horen, terwijl een woord als kantoormeubilair op grote afstand wordt geplaatst.
Hoe werken embeddings onder de motorkap?
Wanneer een taalmodel een tekst analyseert, berekent een gespecialiseerd embeddingmodel honderden of zelfs duizenden getallen voor die specifieke zin of alinea. Elk getal in die vector vertegenwoordigt een abstract kenmerk, zoals de context waarin het woord voorkomt, de emotionele lading of de relatie tot andere onderwerpen. De menselijke programmeur benoemt deze dimensies niet met de hand; het model leert deze subtiele patronen zelfstandig door enorme hoeveelheden tekst te bestuderen.
Om te bepalen of twee teksten over hetzelfde onderwerp gaan, berekent software de wiskundige afstand tussen de twee vectoren. Als de hoek tussen twee lijnen in die getallenruimte klein is, spreken we van een hoge semantische overeenkomst. Zo kan een zoekfunctie razendsnel begrijpen dat de vraag 'wat doe ik bij lekkage?' vrijwel dezelfde intentie heeft als de handleiding 'stappenplan waterschade in huis'.
Een lokaal voorbeeld: de digitale balie van de gemeente
Stel dat een inwoner van Deventer of Leuven naar de gemeentelijke website gaat en in het zoekveld tikt: mijn paspoort is kwijt, wat nu?
Ouderwetse zoeksystemen zoeken puur op trefwoorden. Als de officiële beleidspagina de titel Aanvragen reisdocument bij vermissing draagt, vindt de bezoeker mogelijk niets. Er staat immers nergens letterlijk het woord 'kwijt' of 'paspoort'. Met vector embeddings gebeurt er iets anders:
- De zoekopdracht wordt direct omgezet in een vector die de kernbetekenis 'verlies van officieel identiteitsbewijs' vangt.
- De teksten op de gemeentelijke website zijn vooraf allemaal omgezet in soortgelijke embeddings en opgeslagen in een speciale database.
- Het systeem vergelijkt de getallen van de zoekopdracht met de getallen van alle artikelen.
- De pagina over 'vermissing van reisdocumenten' blijkt wiskundig gezien de beste match te zijn, waardoor de inwoner meteen het juiste antwoord ziet.
Waar worden embeddings in de praktijk voor gebruikt?
Embeddings vormen het onzichtbare fundament onder moderne kunstmatige intelligentie. Zonder deze wiskundige vertaalslag zouden veel populaire AI-toepassingen niet functioneren. De belangrijkste toepassingen zijn:
- Semantisch zoeken: Zoeken op bedoeling en concept in plaats van exacte trefwoorden, zoals in interne kennisbanken van ziekenhuizen of advocatenkantoren.
- RAG (Retrieval-Augmented Generation): Het ophalen van relevante documenten uit eigen bedrijfsdata om een taalmodel te voeden met actuele, betrouwbare feiten voordat het antwoord genereert.
- Aanbevelingssystemen: Webwinkels die suggesties doen voor producten die aansluiten bij eerdere aankopen, niet omdat de productnamen overeenkomen, maar omdat de gebruikssituaties vergelijkbaar zijn.
- Clusteren en ontdubbelen: Het automatisch groeperen van duizenden klantvragen of nieuwsberichten om snel trends en dubbele meldingen te ontdekken.
Veelgemaakte denkfout: embeddings van verschillende modellen combineren
Een veelvoorkomende fout bij het bouwen van zoeksystemen is het mengen van verschillende embeddingmodellen. Elk model creëert zijn eigen unieke wiskundige ruimte. Een vector van 1536 getallen uit het ene model heeft een heel andere meetlat dan een vector van dezelfde lengte uit een ander model. Wie documenten indexeert met model A en vervolgens zoekt met een zoekopdracht die is omgezet via model B, krijgt complete willekeur als resultaat. Als je overstapt op een moderner model, moet je altijd alle bestaande documenten opnieuw laten omrekenen.
Veelgestelde vragen
Wat is het verschil tussen een embedding en een vector?
Een vector is simpelweg een wiskundige term voor een geordende rij getallen. Een embedding is een specifiek type vector dat door AI is gegenereerd om de betekenis van een tekst, afbeelding of audiofragment vast te leggen.
Kun je een embedding weer terugvertalen naar gewone tekst?
Nee, niet direct. Een embedding is een samenvatting van betekenissen en concepten in getallen, geen gecomprimeerde tekst. Je kunt wel via AI zoeken naar de tekst die qua betekenis het dichtst bij die getallenreeks ligt.
Waarom zijn embeddings zo belangrijk voor RAG?
RAG-systemen gebruiken embeddings om razendsnel in grote hoeveelheden bedrijfsdocumenten te zoeken naar alinea's die inhoudelijk aansluiten op de vraag van de gebruiker, zelfs als er heel andere woorden worden gebruikt.
