Benchmark (ytelsestest)
En benchmark innen kunstig intelligens er en standardisert test som måler og sammenligner hvor godt ulike modeller presterer på definerte oppgaver.
En benchmark er en standardisert ytelsestest som brukes til å måle, vurdere og sammenligne ulike modeller for kunstig intelligens. Testen består vanligvis av et fast sett med oppgaver, for eksempel flervalgsspørsmål innen jus, oppgaver i matematisk resonnering, oversettelse eller skriving av programkode. Hver modell som testes får en poengsum basert på hvor mange oppgaver den løser korrekt.
Formålet med en slik test er å gi utviklere og bedrifter et objektivt grunnlag for å si at én modell er bedre egnet til en spesiell oppgave enn en annen. Uten standardiserte målinger ville det vært nesten umulig å holde oversikt over den teknologiske utviklingen når nye systemer lanseres fortløpende.
Hvordan en AI-benchmark fungerer i praksis
Tradisjonelle tester for store språkmodeller fungerer omtrent som en digital eksamen. Modellen mates med tusenvis av spørsmål uten tilgang til fasiten underveis, og svarene evalueres automatisk mot en forhåndsdefinert fasit. Oppgavene kan spenne fra enkle faktaspørsmål til komplekse logiske gåter der modellen må vise tankegangen sin trinn for trinn.
Det finnes ulike kategorier av tester som måler forskjellige egenskaper:
- Språkforståelse og allmennkunnskap: Tester om modellen forstår nyanser, sarkasme, sammendrag og historiske eller samfunnsmessige fakta.
- Logikk og matematikk: Oppgaver som krever flertrinns resonnering og problemløsing utover ren ordgjetting.
- Programmering: Praktiske oppgaver der modellen må generere fungerende kode i språk som Python eller JavaScript for å bestå automatiserte enhetstester.
- Menneskelige blindtester: Vurderinger der ekte personer bedømmer to anonyme svar opp mot hverandre for å se hvilket svar som føles mest nyttig og naturlig.
Et lokalt eksempel: Regnskapskontoret i Trondheim
Tenk deg et mellomstort regnskapsbyrå i Trondheim som vil ta i bruk en språkmodell for å oppsummere bilag, svare på kundehenvendelser og tolke norske skatte- og merverdiavgiftsregler. På papiret kan en internasjonal toppmodell skilte med skyhøye resultater på akademiske ytelsestester.
Når byrået setter modellen i arbeid med virkelige oppgaver, oppdager de likevel at den sliter. Testene modellen ble målt mot i utlandet besto primært av amerikanske juridiske problemstillinger og engelske flervalgsspørsmål. Modellen mangler forståelse for særnorske begreper, lokale forskrifter fra Skatteetaten og nyansene mellom bokmål og nynorsk. En generisk benchmark gir med andre ord ingen garanti for at verktøyet fungerer i en lokal, norsk arbeidshverdag.
Utfordringen med dataforurensning og fasitjuks
Selv om en benchmark gir verdifulle sammenligningsgrunnlag, må man tolke resultatene med sunn skepsis. Et av de største problemene i bransjen kalles dataforurensning (benchmark contamination). Dette skjer når testoppgavene og fasitsvarene ved et uhell, eller bevisst, havner i treningsdataene til modellen. Hvis modellen allerede har lest eksamensoppgavene under opptreningen, tester man bare hukommelse i stedet for faktisk resonneringsevne.
I tillegg oppstår det som kalles Goodharts lov: Når et måltall blir et mål i seg selv, slutter det å være et godt måltall. Utviklere kan fristes til å finjustere modellene sine spesifikt for å klatre på offentlige topplister, selv om forbedringen ikke gir noen reell verdi for vanlige brukere i praksis.
Slik evaluerer du modeller for eget bruk
For en norsk bedrift eller offentlig virksomhet er den beste testen alltid den dere lager selv. I stedet for å stole blindt på teknologigantenes egne grafer, bør dere samle inn et representativt utvalg av typiske oppgaver fra deres egen hverdag. Dette kan være tidligere e-poster fra kunder, interne rapporter eller konkrete saksbehandlingsnotater.
Kjør disse oppgavene gjennom de aktuelle modellene og la fagekspertene på kontoret vurdere svarene manuelt. En slik intern og privat test gir et langt mer ærlig bilde av hvilken modell som faktisk sparer tid og gir pålitelige resultater for akkurat deres behov.
Ofte stilte spørsmål
Hva er forskjellen på en åpen og en privat benchmark?
En åpen benchmark har offentlig tilgjengelige spørsmål og svar som alle kan laste ned, mens en privat benchmark holdes hemmelig for å unngå at modellene lærer fasiten på forhånd.
Hvorfor gjør en modell det bra på test, men dårlig i praksis?
Dette skyldes ofte at modellen er overtilpasset standardiserte testoppgaver, eller at testen ikke gjenspeiler nyansene, formatene og kravene i faktiske arbeidsoppgaver.
Måler AI-benchmarks norsk språk godt nok?
De fleste globale ytelsestester fokuserer tungt på engelsk. Det finnes færre omfattende standardtester for norsk, noe som gjør det ekstra viktig å teste modeller manuelt på norske tekster.
