Przejdź do treści
promptowy.com / AI-ordbog / Transformer-model
Grundlæggende

Transformer-model

En transformer-model er en type neuralt netværk, der behandler hele bidder af tekst samtidigt og bruger opmærksomhedsmekanismer til at forstå ordenes indbyrdes sammenhæng.

En transformer-model er en avanceret arkitektur inden for kunstige neurale netværk, der danner det tekniske fundament for næsten alle moderne store sprogmodeller. Hvor ældre systemer læste en tekst ét ord ad gangen fra venstre mod højre, er transformeren i stand til at analysere alle ord i en sætning på samme tid. Dette gør det muligt for modellen at fange den dybere mening og sammenhæng i sproget med hidtil uset præcision.

Det store gennembrud kom, da forskere introducerede den såkaldte opmærksomhedsmekanisme, også kendt som attention. Det er netop denne arkitektur, der har givet navn til det berømte bogstav T i forkortelsen GPT. Uden transformer-arkitekturen ville nutidens digitale assistenter og automatiske oversættelsestjenester slet ikke have den samme sproglige flydende form.

Opmærksomhedsmekanismen: Hjertet i transformeren

Kernen i en transformer-model kaldes for selvopmærksomhed (på engelsk self-attention). Denne funktion gør det muligt for computermodellen at udregne matematiske relationer mellem samtlige ord i en given tekst, uanset hvor langt de står fra hinanden.

Når modellen analyserer en sætning, tildeler den dynamiske vægte til de forskellige ord. Det betyder, at den kan afgøre, hvilke andre begreber i teksten der er mest relevante for at forstå et specifikt ord. Dette sker i flere trin:

  • Vektorkodning: Hvert ord omsættes til en række tal, der repræsenterer dets overordnede betydning.
  • Forespørgsel og sammenligning: Modellen sammenligner hvert enkelt ord med alle andre ord i teksten for at finde semantiske forbindelser.
  • Vægtet opsummering: Betydningen af hvert ord opdateres baseret på den information, de omkringliggende ord bidrager med i netop denne kontekst.

Et hverdagsseksempel: Den jyske cykelhandler

For at forstå styrken ved en transformer kan man forestille sig en e-mail sendt til et mindre cykelværksted i Silkeborg: Værkstedet modtog den gamle ladcykel fra kunden, fordi den trængte til et nyt batteri.

For et menneske er det helt oplagt, at ordet den refererer til ladcyklen og ikke til værkstedet eller kunden. Ældre sprogmodeller kæmpede dog ofte med netop denne type stedord, fordi de behandlede sproget i stive, sekventielle trin og let mistede tråden over længere afstande. En transformer-model retter lynhurtigt sin matematiske opmærksomhed mod forbindelsen mellem den, trængte og ladcykel, hvilket sikrer, at meningen bevares korrekt i den videre tekstbehandling.

Hvorfor transformeren udkonkurrerede ældre teknologier

Før transformeren blev opfundet, brugte forskere primært såkaldte rekursive neurale netværk (RNN) til sprogopgaver. Disse modeller havde to væsentlige begrænsninger, som transformer-arkitekturen elegant løste:

For det første led de ældre netværk af en form for digitalt hukommelsestab. Hvis en sætning var for lang, glemte systemet, hvad der stod i begyndelsen, inden det nåede til slutningen. Transformeren bevarer overblikket over hele kontekstvinduet på én gang.

For det andet kunne de ældre modeller kun trænes langsomt, fordi hvert ord skulle behandles efter det forrige. Transformere kan behandle gigantiske mængder tekst parallelt på kraftige computerprocessorer. Denne evne til ubesværet at skalere op med mere regnekraft og større datamængder er hovedårsagen til den eksplosive udvikling inden for kunstig intelligens i dag.

Typiske misforståelser om transformere

En udbredt misforståelse er, at en transformer-model tænker, ræsonnerer og forstår verden på samme måde som et menneske. Selvom dens sproglige output kan virke overbevisende og reflekteret, er transformeren i bund og grund en statistisk sandsynlighedsmaskine.

Modellen forstår ikke den fysiske virkelighed bag begreber som varme, sorg eller smørrebrød. Den beregner udelukkende mønstre og sandsynligheder for, hvilke tekstdele der mest naturligt følger efter hinanden ud fra de milliarder af sætninger, den er blevet fodret med under sin træning.

Ofte stillede spørgsmål

Hvad står T'et for i GPT?

T'et står for Transformer, hvilket henviser til den netværksarkitektur, som modellen er bygget på.

Hvad er forskellen på en transformer og et almindeligt neuralt netværk?

Klassiske netværk behandler ofte data i en fast rækkefølge eller som faste billeder. Transformeren bruger en særlig opmærksomhedsmekanisme, som gør den i stand til at veje relationer mellem alle inputpunkter samtidigt.

Bruges transformere kun til tekst?

Nej, selvom de blev skabt til sprog, anvendes transformer-arkitekturen i dag også med stor succes til billedgenkendelse, lydbehandling og biologiske analyser som proteinfoldning.

← Alle begreber i AI-ordbogen

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›