Przejdź do treści
promptowy.com / AI-ordbog / Inferens (Inference)
Teknologi

Inferens (Inference)

Inferens er den proces, hvor en færdigtrænet AI-model omsætter et input til et konkret svar, en beregning eller en forudsigelse i praksis.

Inferens er det øjeblik, hvor en kunstig intelligens udfører sit egentlige arbejde. Når du stiller et spørgsmål i en chatfunktion, uploader et billede eller beder et system om at opsummere en rapport, er det inferensfasen, der går i gang. Modellen modtager dit input, analyserer mønstrene ud fra sin eksisterende viden og genererer det mest sandsynlige resultat, ofte et enkelt ord eller token ad gangen.

Kort sagt er inferens brugen af en model efter, at den er blevet bygget. Hvor udviklerne bag modellen bruger uger eller måneder på at fodre den med enorme datamængder under træningen, sker inferens på få brøkdele af et sekund, hver gang en bruger trykker på tastaturet.

Forskellen mellem træning og inferens

For at forstå inferens hjælper det at sammenligne processen med en uddannelse. Træningsfasen svarer til de mange år på skolebænken og universitetet, hvor man læser bøger, løser opgaver og opbygger viden. Det er en tung, dyr og ressourcekrævende proces, som kun finder sted i ny og næ.

Inferens svarer derimod til den første arbejdsdag. Her skal den færdiguddannede medarbejder bruge sin oparbejdede viden til at løse en konkret opgave for en kunde. Modellen lærer ikke fundamentalt nye færdigheder under inferens: den anvender udelukkende de matematiske vægte og mønstre, den allerede har fået tildelt under træningen.

Sådan fungerer inferens i realtid

Når en sprogmodel genererer en tekst foran øjnene på dig, er det en direkte fremvisning af kontinuerlig inferens. Processen følger typisk disse trin:

  • Modtagelse af prompt: Dit input oversættes til mindre tekstbidder, kaldet tokens, som computerens regnechips kan forstå som tal.
  • Matematiske beregninger: Modellen sender tallene igennem sine milliarder af parametre for at vurdere, hvilket token der statistisk set bør komme som det næste.
  • Generering af svar: Når det næste token er valgt, sendes det tilbage til skærmen, hvorefter hele processen gentager sig for det efterfølgende ord.

Denne rækkefølge kaldes ofte for streaming, fordi svaret strømmer ind bid for bid, i takt med at serverne udfører de nødvendige beregninger.

Et lokalt eksempel: Kundeservice i Kolding

Forestil dig en mellemstor dansk webshop i Kolding, der sælger havemøbler og udendørsudstyr. Virksomheden har integreret en AI-assistent på sin hjemmeside for at hjælpe kunderne med at vælge den rette træolie til havebordet.

Hver gang en kunde fra Vejle eller Odense skriver et spørgsmål i chatten en fredag aften, igangsættes en inferens-proces på en server i et datacenter. Webshoppens model slår ikke op i en statisk tabel over faste standardsvar. Den bruger derimod sin sproglige forståelse og virksomhedens produktmanualer til at sammensætte en individuel, skræddersyet forklaring i realtid. For kunden tager det to sekunder, men bag kulisserne har computeren udført milliarder af matematiske operationer for at levere netop den sætning.

Hvorfor koster inferens så mange ressourcer?

Det er en udbredt antagelse, at det udelukkende er træningen af kunstig intelligens, der koster store summer. I virkeligheden udgør inferens langt størstedelen af de samlede udgifter for virksomheder, der udbyder AI-tjenester. Hver eneste forespørgsel fra millioner af daglige brugere kræver regnekraft fra avancerede grafikkort og processorchips.

For at holde udgifterne og strømforbruget nede benytter softwareudviklere forskellige optimeringsmetoder:

  • Kvantisering: Modellen forenkles matematisk, så tallene fylder mindre i serverens hukommelse, uden at svarets kvalitet forringes mærkbart.
  • MoE-arkitektur: Systemet er opdelt, så kun de relevante dele af modellen aktiveres for en given opgave i stedet for at køre hele maskineriet i gang hver gang.
  • Specialiseret hardware: Computere udstyres med chips, der udelukkende er bygget til hurtig matrixregning ved inferens.

En typisk misforståelse om inferens

En almindelig fejlslutning blandt brugere er troen på, at en AI-model gemmer og lærer direkte af det, du skriver til den under inferens. Mange forestiller sig, at hvis de retter en sprogfejl eller forklarer modellen en lokal nyhed, så husker den det til samtalen med den næste bruger. Det er en misforståelse.

Under normal inferens er modellen låst i skrivebeskyttet tilstand. Den kan huske konteksten i den aktuelle samtale via sit arbejdsvindue, men når samtalen lukkes ned, vender modellen tilbage til sit oprindelige udgangspunkt. Først hvis virksomheden bag aktivt opsamler data og gennemfører en ny træningsrunde eller finjustering, bliver ny viden en permanent del af modellens hjerne.

Ofte stillede spørgsmål

Hvad er forskellen på træning og inferens?

Træning er processen, hvor modellen fodres med data for at lære sammenhænge fra bunden. Inferens er selve brugen af modellen, hvor den anvender sin indlærte viden til at løse konkrete opgaver for brugeren.

Lærer AI-modellen noget, mens den laver inferens?

Nej, som udgangspunkt er modellen statisk under inferens. Den kan bruge historikken i den åbne samtale til at svare mere præcist, men dens grundlæggende parametre ændrer sig ikke.

Hvorfor kan inferens nogle gange føles langsomt?

Hastigheden afhænger af modellens samlede størrelse, den tilgængelige hardware og mængden af andre brugere på systemet samtidigt. Sprogmodeller danner teksten token for token, hvilket kræver nye beregninger for hvert eneste ord.

← Alle begreber i AI-ordbogen

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›