Przejdź do treści
promptowy.com / KI-ordbok / LoRA (Low-Rank Adaptation)
Modeller og trening

LoRA (Low-Rank Adaptation)

LoRA er en effektiv metode for finjustering av AI-modeller, der man trener et lite ekstra sett med parametere uten å endre hele den opprinnelige grunnmodellen.

LoRA står for Low-Rank Adaptation og er en teknikk for å finjustere store kunstig intelligens-modeller på en rask og ressursvennlig måte. I stedet for å oppdatere samtlige milliarder av parametere i en eksisterende grunnmodell, fryses de opprinnelige vektene. Deretter legges det til to mindre matriser som fanger opp endringene for en bestemt stil, et bestemt fagfelt eller en spesifikk oppgave.

Det er viktig å merke seg at LoRA innen maskinlæring ikke har noe å gjøre med radioteknologien LoRa eller LoRaWAN, som brukes til trådløs kommunikasjon over lange avstander. Selv om skrivemåten er nesten identisk, handler LoRA i AI-verdenen utelukkende om matematisk optimalisering av nevrale nettverk.

Hvordan adapteren fungerer sammen med grunnmodellen

En LoRA fungerer som et lite tillegg, ofte omtalt som en adapter. Du kan se på grunnmodellen som et enormt leksikon eller et bredt kunstgalleri. Den store modellen forstår allerede språk, lyssetting, anatomi og farger. LoRA-filen gir bare en presis instruks om hvordan denne kunnskapen skal vris i en spesiell retning.

Siden man kun trener et lite sett med tall, blir filstørrelsen forsvinnende liten sammenlignet med hele modellen. Mens en full bildegenerator eller språkmodell krever mange gigabyte med lagring og kraftige servere, tar en LoRA-fil ofte bare noen titalls eller hundretalls megabyte. Dette gjør det enkelt å bytte mellom ulike stiler eller oppgaver på samme datamaskin.

Et praktisk eksempel fra hverdagen i Norge

Tenk deg et lite designbyrå i Bergen som skal lage illustrasjoner til en serie veiledere for en lokal reiselivsbedrift i Hardanger. Byrået ønsker et særpreget visuelt uttrykk med duse akvarellfarger, grove papirteksturer og en bestemt type blyantstrek. Hvis illustratøren bare skriver inn tekstinstruksjoner i en standard bildegenerator, vil stilen variere fra bilde til bilde.

Ved å trene en LoRA-adapter på et knippe godkjente illustrasjoner, kan byrået koble adapteren til grunnmodellen. Når de deretter ber om et bilde av en stavkirke i regnvær eller en lokal geitost på et trebord, fletter modellen inn den innlærte stilen automatisk. Grunnmodellen forstår hva en stavkirke er, mens LoRA sørger for at den tegnes i nøyaktig det formspråket kunden forventer.

Slik tester du en LoRA-adapter trinn for trinn

Når du laster inn en ferdig adapter for bilder eller tekst, er det lurt å gå metodisk til verks for å sikre at resultatet blir presist:

  1. Etabler en referanse: Gjør en generering med grunnmodellen alene. Behold samme tilfeldige frø (seed), samme tekstprompt og samme oppløsning, slik at du har et nøytralt sammenligningsgrunnlag.
  2. Sjekk kompatibilitet og utløserord: En adapter fungerer bare med den spesifikke modellfamilien den ble bygget for. Mange bildeadaptere krever også et eget utløserord i tekstfeltet for å aktivere effekten.
  3. Juster styrken gradvis: Start med moderat vekting, for eksempel 0,6 eller 0,8. Skrur du effekten opp til maksimal styrke med én gang, risikerer du at bildet blir forvrengt, unaturlig eller mister evnen til å følge resten av instruksjonen.
  4. Test variasjon: Prøv adapteren på helt nye motiver. En god stiladapter skal kunne tegne både en kaffekopp på et kontor i Oslo og en snødekt fjelltopp i Tromsø uten å låse seg fast til ett enkelt bakgrunnsmotiv.

Vanlige feil og begrensninger

Den vanligste feilen er å tro at en LoRA-adapter er en universell fil som passer til alle verktøy. Forsøker du å bruke en adapter laget for én modellversjon på en annen arkitektur, vil du enten få feilmeldinger eller fullstendig ødelagte resultater.

En annen utfordring er overtrening. Hvis noen har trent en adapter på for få bilder med for ensformige vinkler, vil adapteren brenne seg fast i detaljene. Da risikerer du at den samme personen, bakgrunnen eller posituren dukker opp i alle genereringer, uansett hva du ber om i teksten.

Slik stiller du det inn i Midjourney, FLUX, Ideogram, GPT Image og ComfyUI, med før- og etter-bilder: LoRA-vekt (LoRA strength) i parameteroversikten

Ofte stilte spørsmål

Hva er forskjellen på LoRA og full finjustering?

Ved full finjustering oppdateres alle parametere i modellen, noe som krever enorme datamengder og kraftige servere. LoRA fryser grunnmodellen og trener kun en liten gruppe ekstra parametere, noe som er langt mer ressurseffektivt.

Fungerer en LoRA-adapter på tvers av ulike AI-modeller?

Nei, en LoRA er uløselig knyttet til den spesifikke modellarkitekturen den ble trent på, og kan ikke brukes på en helt annen grunnmodell.

Må man alltid bruke et utløserord for å aktivere en LoRA?

Ikke alltid. Noen adaptere aktiveres automatisk når filen lastes inn, mens andre er trent opp til å reagere på et unikt nøkkelord i instruksjonsteksten.

Er LoRA i AI det samme som radioteknologien LoRa?

Nei, dette er to vidt forskjellige teknologier som tilfeldigvis deler samme forkortelse: den ene gjelder maskinlæring, mens den andre gjelder trådløs sensor- og radiokommunikasjon.

← Alle begreper i KI-ordboken

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›