Embedding (vektorrepresentasjon)
En embedding er en matematisk oversettelse av ord, bilder eller lyd til en tallrekke, slik at datamaskiner kan forstå og sammenligne meningsinnhold.
En embedding, eller vektorrepresentasjon på norsk, er en måte å oversette informasjon som ord, setninger, bilder eller lyd til en lang rekke med tall. Datamaskiner forstår ikke hva et ord som hytte eller fjord faktisk betyr, men de er ekstremt gode til å regne på tall. Ved å gjøre om tekst til slike tallrekker, kalt vektorer, kan en datamaskin måle den matematiske avstanden mellom ulike begreper og dermed forstå hva som henger sammen i betydning.
Kjernen i teknologien er at begreper med lik eller beslektet mening havner nær hverandre i et virtuelt, flerdimensjonalt rom. Ordet hund og ordet valp vil få tallverdier som ligner veldig på hverandre, selv om ordene staves helt ulikt. Samtidig vil ord som hund og heisekran havne langt unna hverandre. Dette gjør embeddings til selve fundamentet for at moderne kunstig intelligens kan tolke språk ut fra mening fremfor bare bokstaver.
Hvordan fungerer vektorrepresentasjon?
Når en språkmodell trener på enorme mengder tekst, lærer den hvilke ord og konsepter som ofte opptrer i lignende sammenhenger. Hvert ord eller avsnitt tildeles koordinater i et rom med hundrevis eller tusenvis av dimensjoner. Hver dimensjon fanger opp en abstrakt egenskap ved innholdet, som for eksempel om noe er et levende vesen, et verktøy, en følelse, eller om tonen er formell eller uformell.
For å finne ut hvor like to tekster er, regner systemet ut vinkelen eller avstanden mellom de to tallrekkene, ofte ved hjelp av en matematisk metode kalt cosinus-likhet. Hvis to setninger peker i nesten nøyaktig samme retning i dette tallrommet, betyr det at de formidler omtrent det samme budskapet, selv om forfatterne har brukt helt forskjellige synonymer og setningsoppbygginger.
Et lokalt eksempel: Søk hos en norsk utstyrsbutikk
Tenk deg en lokal sportsforretning i Voss eller Tromsø som selger turutstyr på nett. En kunde skriver inn varm ullgenser for ruskevær i søkefeltet. I en tradisjonell nettbutikk basert på rene nøkkelord ville søkemotoren kun lett etter produkter som eksplisitt inneholder akkurat disse ordene i tittel eller beskrivelse.
Med embeddings fungerer søket helt annerledes:
- Søketeksten gjøres om til en vektor som fanger opp idéen om kuldeisolasjon, strikketøy og dårlig vær.
- Nettbutikkens katalog har allerede forhåndsberegnede vektorer for alle varer, inkludert produkter merket med tjukklabb-strikk, islender eller anorakk med ullfôr.
- Systemet sammenligner tallrekkene og ser at en tradisjonell ullgenser har en vektor som ligger kloss inntil kundens søk, selv om ordet ruskevær aldri er nevnt i produktkortet.
- Kunden får relevante treff umiddelbart, uten frustrasjon over manglende nøkkelord.
Hva brukes embeddings til i praksis?
Vektorrepresentasjoner er usynlige for vanlige brukere, men de driver mange av de mest avanserte funksjonene i moderne programvare. Her er de vanligste bruksområdene:
- Semantisk søk: Finne informasjon basert på hva brukeren mener, ikke bare de nøyaktige ordene de taster inn.
- RAG (Retrieval-Augmented Generation): Gi språkmodeller tilgang til interne selskapsdokumenter ved å hente ut de mest relevante tekstavsnittene før modellen svarer.
- Anbefalingssystemer: Foreslå lignende artikler i en nettavis eller relevante stillingsannonser basert på profil og tidligere lesehistorikk.
- Oppdage duplikater: Identifisere nesten like henvendelser i et kundesenter, slik at kundebehandlere slipper å løse samme problem flere ganger.
- Klynging og analyse: Samle tusenvis av åpne tilbakemeldinger fra en innbyggerundersøkelse i en kommune inn i automatiske temaer.
Vanlige misforståelser om embeddings
En utbredt feiloppfatning er at en embedding forstår fakta eller sannhet. En vektorrepresentasjon vet ikke om en påstand er sann eller usann, den vet bare hvilke ord og temaer som statistisk sett henger sammen i språket. En setning som hevder at jorden er flat, vil ha en embedding som ligger svært nær tekster om geografi og planetens form, helt uavhengig av om påstanden stemmer.
En annen feil er å tro at en embedding-modell kan svare på spørsmål slik en samtalerobot gjør. En modell for embeddings genererer ingen ny tekst. Dens eneste oppgave er å oversette et stykke informasjon til en fast tallrekke. Selve resonneringen og tekstskrivingen må overlates til en generativ språkmodell etter at de relevante tallene er funnet og sammenlignet.
Ofte stilte spørsmål
Hva er den største forskjellen på nøkkelordsøk og embeddings?
Nøkkelordsøk leter etter eksakte bokstaver og ord i en database. Embeddings leter etter begrepenes betydning, slik at du finner relevante resultater selv om du bruker helt andre synonymer eller omskrivinger.
Hvorfor kalles det en vektor?
I matematikk er en vektor en ordnet liste med tall som definerer et punkt eller en retning i et rom. Fordi en embedding består av en slik rekke med koordinater, kalles den en vektor.
Kan embeddings lages av annet enn tekst?
Ja, spesialiserte modeller kan lage embeddings av bilder, video, lydfiler og programkode. Dette gjør det mulig å sammenligne for eksempel et bilde med en tekstbeskrivelse i samme tallrom.
Må man bruke en spesiell database for embeddings?
For små datamengder holder det med enkle regneark eller vanlige databaser, men for millioner av tekster brukes dedikerte vektordatabaser for å kunne regne ut avstander på brøkdelen av et sekund.
