Kontekstvindue (context window)
Et kontekstvindue er den maksimale mængde tekst målt i tokens, som en sprogmodel kan bearbejde, huske og overskue på ét og samme tidspunkt.
Et kontekstvindue er den maksimale mængde data, som en kunstig intelligens kan have i sin aktive arbejdshukommelse på én gang. Begrebet stammer fra sprogmodeller, hvor vinduet afgør, hvor meget tekst modellen kan læse, huske og tage højde for, når den genererer et nyt svar.
Størrelsen på kontekstvinduet måles i tokens, som er små tekststykker svarende til stavelser eller brøkdele af ord. Kontekstvinduet skal rumme det hele på én gang: dine instruktioner, eventuelle vedhæftede dokumenter, hele den hidtidige dialog i chatten samt det svar, som modellen er i gang med at skrive. Hvis en oplysning falder uden for dette vindue, eksisterer den ganske enkelt ikke for modellen i det pågældende øjeblik.
Sådan fungerer modellens korttidshukommelse
Du kan forestille dig kontekstvinduet som en fysisk tavle med en fast bredde. Hver gang du skriver en besked, og modellen svarer, bliver teksten skrevet op på tavlen. Når tavlen er fyldt op, er modellen nødt til at viske det ældste tekst ud i toppen for at gøre plads til nye sætninger i bunden.
Det er præcis denne mekanisme, der forklarer, hvorfor en samtale med en chatbot pludselig kan ændre karakter. Hvis du har haft en lang samtale, vil de første instrukser glide ud over kanten af tavlen. Modellen glemmer ikke med vilje, men den har simpelthen nået sin tekniske kapacitetsgrænse for samtidig opmærksomhed.
Et lokalt eksempel: Den lange byggesag i Kolding
Forestil dig en mellemstor rådgivende ingeniørvirksomhed i Kolding, der arbejder på et kommunalt renoveringsprojekt for en lokal folkeskole. Projektlederen ønsker at bruge en sprogmodel til at gennemgå et udbudsmateriale på 150 sider for at finde specifikke krav til ventilation og brandsikring.
Hvis ingeniøren uploader hele dokumentet til en model med et lille kontekstvindue, vil systemet afvise filen eller kun læse de første par kapitler. Bruger virksomheden derimod en model med et meget stort kontekstvindue, kan hele udbuddet, lokalplanen og rådgiverens egne notater være i hukommelsen på samme tid. Modellen kan dermed krydstjekke krav på side 12 med specifikationer på side 140 uden at miste overblikket.
Udfordringen med tabt information i midten
Selvom moderne sprogmodeller i dag kan have enorme kontekstvinduer, der svarer til flere tykke bøger, opstår der et andet praktisk problem. Sprogmodeller lider ofte af det fænomen, at de er mest opmærksomme på information, der findes helt i starten eller helt i slutningen af kontekstvinduet.
Lægger du en vigtig detalje ind midt i en enorm tekstmængde, risikerer modellen at overse den. I fagsproget kaldes dette ofte for nålen i høstakken: Modellen har teknisk set adgang til oplysningen, men dens matematiske opmærksomhed svækkes, når mængden af baggrundsstøj bliver for overvældende.
Gode vaner til at styre konteksten
For at få de mest pålidelige svar ud af en sprogmodel kan du optimere måden, du fodrer den med data på:
- Placér nøglekrav til sidst: Gentag dine vigtigste krav og begrænsninger lige før dit afsluttende spørgsmål, så de står helt friskt i modellens opmærksomhed.
- Start en ny samtale ved emneskift: Lad være med at genbruge en gammel tråd til en ny opgave. Gamle beskeder optager værdifuld plads i kontekstvinduet og kan forvirre svaret.
- Fjern overflødig fyldtekst: Hvis du indsætter referater eller rapporter, så slet indholdsfortegnelser, formalia og standardsider, før du uploader dem.
- Opsummér i etaper: Ved gigantiske dokumenter er det ofte bedre at få modellen til at lave delopsummeringer kapitel for kapitel frem for at behandle alt i et enkelt hug.
Typiske misforståelser om kontekstvinduet
En almindelig fejl er at tro, at en model lærer permanent af det, du skriver i kontekstvinduet. Kontekstvinduet er udelukkende en midlertidig arbejdshukommelse for den igangværende session. Så snart du lukker vinduet eller overskrider grænsen, er informationen væk fra modellens aktive rækkevidde. Kontekstvinduet ændrer ikke på modellens grundlæggende træning, men definerer blot rammen for den aktuelle samtale.
Ofte stillede spørgsmål
Hvorfor glemmer sprogmodellen detaljer fra starten af vores samtale?
Det sker, når samtalen bliver så lang, at de tidlige beskeder presses ud af kontekstvinduet for at gøre plads til nye spørgsmål og svar.
Hvad optager plads i kontekstvinduet?
Alt indhold i den aktive tråd optager plads: systemets faste instruktioner, dine prompts, vedhæftede filer og alle de svar, modellen hidtil har genereret.
Betyder et større kontekstvindue altid bedre svar?
Ikke nødvendigvis. Selvom et stort vindue giver plads til enorme datamængder, kan modellen have sværere ved at finde præcise detaljer, hvis de er gemt midt i meget store tekstmængder.
