Przejdź do treści
promptowy.com / KI-ordbok / Kontekstvindu (context window)
Teknologi

Kontekstvindu (context window)

Et kontekstvindu er den maksimale mengden tekst en språkmodell kan behandle og huske samtidig i en samtale eller oppgave.

Et kontekstvindu, ofte kalt context window på fagspråket, er den totale mengden tekst en kunstig intelligens kan forholde seg til på et gitt tidspunkt. Dette omfatter alt du skriver inn som instruksjon, eventuelle vedlegg og filer du laster opp, historikken fra den pågående samtalen, samt svaret modellen er i ferd med å formulere.

Du kan se på kontekstvinduet som modellens kortsiktige arbeidsminne. Det som faller innenfor denne rammen, har modellen full tilgang til under resonneringen. Det som derimot faller utenfor vinduet, eksisterer rett og slett ikke for modellen i det øyeblikket den svarer deg.

Arbeidsminnet som måles i tokens

Størrelsen på et kontekstvindu måles verken i ord eller sider, men i såkalte tokens. En token er en del av et ord eller tegn. På norsk, som har mange sammensatte ord og særnorske tegn, vil ett ord ofte bestå av litt flere tokens enn på engelsk. Når en modell har et vindu på eksempelvis 128 000 tokens, tilsvarer dette gjerne en tykk fagbok eller hundrevis av sider med saksdokumenter.

Dette arbeidsminnet er dynamisk. Hver gang du sender en ny melding, sendes hele samtalen inn i modellen på nytt bak kulissene. Når samtalen blir lengre enn den maksimale grensen til vinduet, oppstår fenomenet der modellen tilsynelatende glemmer. Det som egentlig skjer, er at de eldste meldingene i toppen skyves ut for å gi plass til de nye.

Et praktisk eksempel: Anbudsanalyse i Stavanger

Tenk deg et rådgivningsselskap i Stavanger som skal levere et tilbud på et stort offentlig oppdrag for samferdselssektoren. De mottar et konkurransegrunnlag på 350 sider bestående av kravspesifikasjoner, miljøkrav, HMS-rutiner og kontraktstekniske vilkår.

Dersom rådgiveren bruker en modell med et lite kontekstvindu, må dokumentet klippes opp i små biter. Da mister modellen evnen til å se sammenhenger mellom kapittel 2 (om tekniske krav) og kapittel 11 (om sanksjoner ved forsinkelse). Med et moderne, romslig kontekstvindu kan rådgiveren mate hele anbudet inn i samme økt. Modellen kan da sammenholde oppdragsgivers krav til lærlingeordninger på tvers av hele dokumentet og gi et helhetlig svar, fordi alt befinner seg innenfor samme vindu.

«Nål i en høystakk» og utfordringen i midten

Selv om dagens modeller har kapasitet til enorme mengder tekst, betyr ikke det at de leser alt like grundig. Forskning og praktisk erfaring viser at språkmodeller ofte lider av en svakhet kjent som lost in the middle.

Når et kontekstvindu fylles opp til randen, er modellen skarpest på informasjonen som står helt i begynnelsen (der systeminstruksjonene ofte ligger) og helt på slutten (der det ferskeste spørsmålet stilles). Detaljer som er gjemt midt inne i en massiv tekstmengde på 80 000 ord, kan lett bli oversett. Selv om teksten teknisk sett er innenfor vinduet, synker treffsikkerheten hvis modellen må lete etter små nyanser dypt i materialet.

Slik utnytter du kontekstvinduet mest effektivt

For å få mest mulig presise svar fra en språkmodell i jobbsammenheng, bør du håndtere arbeidsminnet bevisst:

  • Plasser nøkkelkrav strategisk: Legg de viktigste premissene og føringene helt i starten av ledeteksten, eller gjenta dem helt til slutt rett før du ber om resultatet.
  • Kutt unødvendig støy: Fjern sidetall, gjentakende topp- og bunntekster, tabellinnhold du ikke trenger, og juridiske standardfraskrivelser før du mater inn store PDF-filer.
  • Start nye samtaler ved temaskifte: Hvis du har løst en oppgave, bør du opprette en ny samtaleøkt fremfor å fortsette i samme tråd. Da unngår du at gammel samtalekontekst forurenser modellens fokus.
  • Bruk oppsummeringer som bro: Hvis en prosess krever en lang samtale, kan du be modellen om å oppsummere status og vedtak så langt, kopiere dette sammendraget, og starte en helt ren samtale basert på oppsummeringen.

Ofte stilte spørsmål

Hvorfor begynner prateroboten å svare rart etter en lang prat?

Når samtalen overskrider modellens kontekstvindu, må den eldste informasjonen kuttes bort. Modellen mister dermed oversikten over instruksjoner og detaljer dere ble enige om i starten av samtalen.

Er kontekstvindu det samme som modellens treningsdata?

Nei, treningsdata er den enorme kunnskapsbasen modellen lærte av på forhånd, mens kontekstvinduet er det midlertidige arbeidsminnet som er aktivt her og nå under samtalen.

Hva betyr «lost in the middle» i et kontekstvindu?

Det beskriver en tendens der modeller husker informasjon i starten og slutten av teksten godt, men kan overse eller misforstå detaljer som ligger gjemt midt inne i svært lange dokumenter.

← Alle begreper i KI-ordboken

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›