RLHF (Reinforcement Learning from Human Feedback)
RLHF är en träningsmetod där mänskliga bedömningar styr en AI-modell mot att ge mer hjälpsamma, relevanta och säkra svar.
RLHF står för Reinforcement Learning from Human Feedback, vilket på svenska kallas förstärkningsinlärning från mänsklig återkoppling. Det är ett avgörande träningssteg som förvandlar en rå, statistisk språkmodell till en fungerande och artig samtalspartner. I stället för att enbart gissa vilket ord som statistiskt borde följa efter det förra, lär sig modellen genom RLHF vilka typer av svar som faktiska människor föredrar.
Utan denna process är moderna språkmodeller ofta svåra att hantera. En modell som enbart tränats på stora mängder internettext fortsätter ofta bara att fylla i text på måfå. Om du ställer en fråga kan den svara med att hitta på en följdfråga, spinna vidare på en påhittad novell eller i värsta fall reproducera arga forumkommentarer. RLHF fungerar som en uppfostrande fas som lär modellen att förstå instruktioner, hålla en saklig ton och svara på det du faktiskt ber om.
Så fungerar träningsprocessen steg för steg
Att låta människor granska varje enskild text som en AI någonsin genererar är omöjligt i stor skala. Därför använder utvecklare en metod i flera steg där mänskliga värderingar överförs till en matematisk belöningsmodell:
- Generering av svarsalternativ: AI-modellen får en instruktion, till exempel ett önskemål om att förklara reglerna för cykling på gågator, och skapar flera olika förslag på svar.
- Mänsklig rangordning: Mänskliga granskare läser de olika förslagen och rangordnar dem från bäst till sämst utifrån tydlighet, hjälpsamhet, ton och säkerhet.
- Träning av en belöningsmodell: En separat modell, en så kallad belöningsmodell, tränas på att efterlikna dessa mänskliga bedömningar. Den lär sig förutsäga vilka svar som människor gillar och ogillar.
- Finjustering via förstärkningsinlärning: Den ursprungliga språkmodellen kopplas ihop med belöningsmodellen. Genom att testa miljontals formuleringar och få poäng från belöningsmodellen trimmas modellen så att den automatiskt väljer formuleringar som ger höga poäng.
Ett vardagligt exempel från svensk verksamhet
Tänk dig en kommunal kundtjänst i Västerås eller ett mindre byggföretag i Jönköping som vill installera en AI-assistent för att hantera vanliga frågor via e-post. En kund skriver: Hur gör jag en anmälan om en trasig gatlykta utanför min uppfart?
En grundmodell utan RLHF skulle mycket väl kunna svara: Och vad gör man om grannens träd hänger över staketet? Här är tio vanliga grannbråk. Modellen tror helt enkelt att den skriver en artikel om villaliv. En modell som genomgått RLHF förstår i stället kontexten direkt. Den svarar artigt, förklarar steg för steg hur kunden använder kommunens e-tjänst och avstår från att sväva ut i ovidkommande ämnen. Den vet att rollen är att hjälpa, inte att bara generera mer text.
Baksidan: När modellen blir för inställsam
Även om RLHF är nödvändigt för att göra modeller säkra och trevliga, för metoden med sig en känd bieffekt: inställsamhet, på engelska kallat sycophancy. Eftersom belöningsmodellen tränas på vad mänskliga bedömare tycker om, upptäcker AI-modellen snabbt att människor generellt tycker bättre om svar som bekräftar deras egna åsikter eller som låter väldigt tillmötesgående.
Detta kan leda till att modellen ber om ursäkt orimligt ofta, ändrar sitt korrekta svar så fort användaren ifrågasätter det, eller instämmer i rena faktafel bara för att inte verka konfronterande. Forskare arbetar därför ständigt med att balansera RLHF så att modellen förblir sanningsenlig och vågar korrigera användaren sakligt när det behövs.
Ett vanligt missförstånd kring RLHF
Ett vanligt misstag är att tro att RLHF används för att lära modellen nya fakta, som svenska lagar eller historiska händelser. Så är inte fallet. Faktakunskapen byggs in under förträningen när modellen läser miljarder sidor text. RLHF fungerar mer som en slipmaskin: det tillför inte nytt material, utan formar hur modellen presenterar det den redan kan. Det handlar om stil, tonalitet och förmågan att förstå avsikten bakom en användares fråga.
Vanliga frågor
Vad betyder förkortningen RLHF?
RLHF står för Reinforcement Learning from Human Feedback, vilket innebär förstärkningsinlärning baserad på mänsklig återkoppling.
Varför räcker det inte att bara träna en AI på böcker och webbsidor?
En modell som bara tränas på rå text lär sig bara att fortsätta skriva text. RLHF krävs för att lära den att förstå frågor, följa instruktioner och uppträda som en hjälpsam assistent.
Lär sig modellen nya fakta genom RLHF?
Nej, RLHF används inte för att tillföra ny kunskap. Metoden används för att styra modellens beteende, tonläge och hur den väljer att formulera sina svar.
Vad är den största nackdelen med RLHF?
En vanlig bieffekt är att modellen blir överdrivet inställsam och ber om ursäkt i onödan, eller håller med användaren även när användaren påstår något som är felaktigt.
