Przejdź do treści
promptowy.com / KI-ordbok / Inference (inferens)
Teknologi

Inference (inferens)

Inferens er prosessen der en ferdigtrent kunstig intelligens mottar nye data og bruker kunnskapen sin til å produsere et svar eller en handling.

Inferens innen kunstig intelligens er selve bruksfasen, øyeblikket der en ferdig opplært modell mottar et spørsmål, en tekst eller et bilde og regner seg frem til et svar. Mens treningen er den ressurskrevende opplæringsperioden der modellen lærer mønstre fra store datamengder, er inferens det som skjer hver eneste gang du faktisk bruker verktøyet.

Når du stiller et spørsmål i en samtalerobot og ser ordene dukke opp fortløpende på skjermen, er det inferens i sanntid du er vitne til. Modellen analyserer instruksen din, beregner sannsynligheten for det neste logiske ordet eller tegnet, og leverer resultatet trinn for trinn.

Forskjellen på trening og inferens

For å forstå inferens må man skille det fra trening. Trening kan sammenlignes med skolegangen til en fagperson: den tar lang tid, krever enorme mengder energi og datakraft, og utføres på forhånd. I denne perioden justeres milliarder av matematiske vekter i nettverket slik at modellen forstår sammenhenger.

Inferens er derimot selve arbeidsdagen. Modellen lærer ikke noe grunnleggende nytt i dette steget, men bruker den kunnskapen den allerede har fått. Selv om en enkelt beregning krever lite strøm sammenlignet med å trene en hel modell, utgjør inferens den største løpende kostnaden for leverandørene, ganske enkelt fordi millioner av brukere sender inn forespørsler døgnet rundt.

For å gjøre denne prosessen raskere og billigere brukes flere metoder:

  • Kvantisering: Beregningene forenkles matematisk slik at modellen krever mindre minne og svarer raskere, uten merkbart tap av kvalitet.
  • Spesialisert maskinvare: Egne brikkesett optimaliseres for å lese data og spytte ut svar mest mulig effektivt.
  • Delte arkitekturer: Systemer utformes slik at bare relevante deler av nettverket aktiveres for hver spesifikke oppgave.

Et praktisk eksempel fra norsk næringsliv

Tenk deg en lokal rørleggerbedrift i Kristiansand som installerer en automatisk e-postleser for å håndtere kundehenvendelser. Systemet har blitt trent opp på tusenvis av anonymiserte meldinger fra tidligere oppdrag.

Når en hytteeier på Hovden sender en e-post om et frossent rør en søndag morgen, settes inferensen i gang. Modellen leser teksten, kjenner igjen mønstrene for akutte skader og genererer to ting: et automatisk utkast til et beroligende svar til kunden, og en hasteoppgave sendt direkte til vakthavende rørlegger. Beregningen tar bare noen få millisekunder. Ingen har trent opp systemet på nytt akkurat denne morgenen: programvaren har bare utført inferens basert på det den allerede kunne.

Slik merker du inferens i hverdagen

I praksis møter du inferens på to ulike måter, avhengig av hvordan tjenesten er bygget opp:

  1. Sanntidsgenerering (streaming): Dette er den vanlige visningen i samtaleverktøy, der teksten strømmer inn ord for ord. Modellen genererer ett dataelement om gangen og sender det direkte til brukeren for å minimere opplevd ventetid.
  2. Bakgrunnsbehandling (batching): Når et sykehus i Bergen eller et revisjonskontor i Trondheim skal analysere hundrevis av dokumenter eller bilder over natten, samles oppgavene i bolker. Her er ikke umiddelbar responstid like kritisk, og systemet kan utnytte maskinvaren maksimalt.

En vanlig misforståelse

En utbredt misforståelse er troen på at modellen lærer av selve samtalen mens den genererer svaret. Mange antar at når de korrigerer en feil i teksten, så husker modellen dette permanent til neste gang.

Slik fungerer standard inferens ikke. Modellen tar inn teksten du skriver som midlertidig kontekst for den pågående beregningen. Så snart samtalen avsluttes, går modellen tilbake til utgangspunktet. De faste matematiske vektene i nettverket er frosset, og varig forbedring krever etteropplæring eller eksplisitt finjustering fra utviklernes side.

Ofte stilte spørsmål

Hva koster mest: trening eller inferens?

Å trene en stor modell koster enormt mye på én gang, men over tid er det inferens som koster mest for leverandørene fordi milliarder av forespørsler må beregnes kontinuerlig hver dag.

Lærer modellen nye fakta under inferens?

Nei, under ren inferens er modellens kunnskap frossen. Den bruker bare instruksen du oppgir i øyeblikket til å formulere et svar, uten å lagre ny kunnskap i selve nettverket sitt.

Hva betyr latens i forbindelse med inferens?

Latens refererer til forsinkelsen fra du trykker send til modellen begynner å levere et svar, og er et sentralt mål på hvor effektiv inferensen er.

← Alle begreper i KI-ordboken

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›