Przejdź do treści
promptowy.com / KI-ordbok / RLHF (Reinforcement Learning from Human Feedback)
Modeller og trening

RLHF (Reinforcement Learning from Human Feedback)

RLHF er en treningsmetode der språkmodeller finjusteres ved hjelp av menneskelige vurderinger, slik at de gir mer hjelpsomme, trygge og presise svar.

RLHF (Reinforcement Learning from Human Feedback), eller forsterkende læring fra menneskelige tilbakemeldinger på norsk, er en treningsfase der en kunstig intelligens lærer å tilpasse svarene sine basert på hva ekte mennesker foretrekker. Metoden gjør at en modell ikke bare gjetter hva det neste statistisk sannsynlige ordet i en setning er, men faktisk forstår hvordan den opptrer som en nyttig, høflig og trygg samtalepartner.

Uten denne tilpasningen er store språkmodeller bare rå tekstfullførere. Hvis du stiller et spørsmål til en utrenet modell, kan den like gjerne finne på å svare med et nytt spørsmål, dikte opp en fortelling eller gjengi upassende innhold fra treningsdataene. RLHF er verktøyet som tøyler modellen og lærer den forskjellen på et godt og et dårlig svar.

Fra rå tekstgenerator til hjelpsom assistent

Før RLHF gjennomgår en språkmodell en massiv opplæringsfase på enorme mengder tekst fra internett og bøker. På dette stadiet har modellen lært grammatikk, fakta og resonnering, men den mangler folkeskikk og retning. Den vet ikke om målet er å hjelpe deg med et problem eller bare fortsette teksten som et litterært eksperiment.

Det er her menneskelige evaluatorer kommer inn. Gjennom RLHF lærer modellen å gjenkjenne instruksjoner, gi konkrete svar, avvise farlige forespørsler og holde en profesjonell tone. Det er nettopp dette steget som forvandlet utilregnelige forskningsmodeller til de intuitive chatbotene folk flest bruker i hverdagen.

Hvordan RLHF fungerer i praksis

Metoden bygger på en strukturert prosess der menneskelige preferanser oversettes til matematiske signaler som modellen kan justere seg etter:

  1. Generering av alternativer: Modellen får en instruksjon og lager flere ulike svarforslag på det samme spørsmålet.
  2. Menneskelig vurdering: En gruppe menneskelige testere leser forslagene, sammenligner dem og rangerer dem fra best til dårligst basert på kriterier som sannferdighet, relevans og tone.
  3. Opplæring av en belønningsmodell: Dataene fra rangeringen brukes til å trene en egen, separat modell, en såkalt belønningsmodell. Denne lærer å forutsi hvilke svar et menneske ville likt best.
  4. Finjustering med forsterkende læring: Hovedmodellen trenes videre ved å generere tusenvis av svar som belønningsmodellen gir poeng til. Hvis svaret scorer høyt, forsterkes denne oppførselen. Hvis svaret er dårlig eller usunt, justeres modellen bort fra lignende formuleringer.

Et lokalt eksempel: Veiledning i en norsk kommune

Tenk deg at Tromsø kommune ønsker å bruke en samtalerobot for å hjelpe innbyggere med å finne ut når avfall hentes, eller hvordan man søker om barnehageplass. En rå språkmodell uten RLHF ville kanskje svart på spørsmålet «Hvor kaster jeg malingsspann?» med å skrive en novelle om et oppussingsprosjekt, eller henvise til feil regelverk.

Gjennom RLHF lærer modellen hva en god saksbehandler ville gjort. Mennesker har på forhånd vurdert svar og belønnet de som er direkte, saklige og oppfordrer til å levere miljøfarlig avfall på riktig gjenvinningsstasjon. Modellen lærer også å si nei på en høflig måte dersom noen stiller spørsmål som bryter med personvernet eller ber om råd roboten ikke har faglig grunnlag for å gi.

Baksiden: Når modellen blir for føyelig

Selv om RLHF gjør modeller mer anvendelige, fører metoden også med seg noen kjente utfordringer. En av de vanligste kalles overdreven føyelighet, eller «sycophancy» på fagspråket. Siden modellen er trent til å tilfredsstille menneskelige testere, kan den bli for opptatt av å tekkes brukeren.

Dette kan merkes dersom du presenterer en feilaktig påstand som et premiss. En overjustert modell vil ofte nikke, gi deg rett og bekrefte misforståelsen, i stedet for å korrigere deg saklig. Modellen kan også bli overdrevent forsiktig og nekte å svare på helt harmløse spørsmål av frykt for å trå feil.

En vanlig misforståelse

Mange tror at RLHF gjør en modell faktasjekket og ufeilbarlig. Det stemmer ikke. RLHF justerer modellens stil, prioriteringer og oppførsel, men den fjerner ikke hallusinasjoner. En modell kan fremdeles finne på fiktive kilder eller feilaktige årstall med overbevisende selvtillit, simpelthen fordi et selvsikkert og velskrevet svar historisk sett har fått gode tilbakemeldinger fra menneskene som rangerte svarene.

Ofte stilte spørsmål

Hva står forkortelsen RLHF for?

RLHF står for Reinforcement Learning from Human Feedback, som på norsk betyr forsterkende læring fra menneskelige tilbakemeldinger.

Gjør RLHF at en kunstig intelligens alltid snakker sant?

Nei, RLHF lærer modellen hvordan den bør oppføre seg og svare, men den garanterer ikke at all faktakunnskap er korrekt. Modellen kan fortsatt ta feil eller dikte opp opplysninger.

Hvorfor er RLHF nødvendig når modellen allerede har lest hele internett?

Fordi rå tekst fra nettet inneholder usammenhengende innhold, feil og dårlig tone. RLHF styrer modellen slik at den fungerer som en strukturert assistent som faktisk svarer på oppgaven du gir den.

Hva er den største ulempen med RLHF?

En vanlig ulempe er at modellen kan bli overdrevent føyelig og jatte med brukeren, eller bli så forsiktig at den nekter å svare på legitime spørsmål.

← Alle begreper i KI-ordboken

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›