Przejdź do treści
promptowy.com / AI-ordlista / LoRA (Low-Rank Adaptation)
Modeller och träning

LoRA (Low-Rank Adaptation)

LoRA är en effektiv metod för att finjustera AI-modeller genom att träna små extra adaptrar i stället för att ändra hela grundmodellen.

LoRA, som står för Low-Rank Adaptation, är en metod för att finjustera stora AI-modeller snabbt och resurseffektivt. I stället för att uppdatera alla miljarder parametrar i en redan tränad grundmodell fryser man ursprungsmodellen helt och tränar enbart ett litet tillägg av nya parametrar vid sidan om.

Detta lilla tillägg kallas ofta för en adapter. Resultatet blir en kompakt datafil som kan lära modellen en specifik visuell stil, ett visst ansikte, ett fackmässigt språkbruk eller ett unikt arbetsflöde utan att man behöver bygga om hela systemet från grunden.

Hur fungerar LoRA i praktiken?

När en stor språkmodell eller bildgenerator tränas sparas kunskapen i massiva siffertabeller som kallas vikter. Att ändra alla dessa vikter vid vanlig finjustering kräver enorma mängder beräkningskraft, lagringsutrymme och tid. LoRA löser problemet genom matematisk förenkling: grundmodellens vikter lämnas orörda medan förändringarna fångas upp i två mycket mindre matriser med låg rang.

För användaren innebär det att filstorleken minskar radikalt. En komplett modell kan kräva tiotals gigabyte, medan en LoRA-adapter ofta ryms på några megabyte. Metoden används flitigt inom både textbearbetning och bildgenerering. Det är också viktigt att inte förväxla denna AI-metod med radiotekniken LoRa och LoRaWAN, som handlar om trådlös sensoruppkoppling över långa avstånd och inte har något med neurala nätverk att göra.

Ett vardagsexempel: Keramikverkstaden i Gustavsberg

Tänk dig en keramiker med verkstad i Gustavsberg som ska lansera en ny serie stengods. Formgivaren vill skapa en sammanhängande marknadsföringskampanj för webbshop, skyltning och tryckta vykort. För att slippa fotografera koppar och fat i hundratals olika miljöer vill ateljén använda bildgenerering.

Genom att samla ett tjugotal skarpa fotografier på den specifika glasyren, de jordnära färgtonerna och lerans råa struktur kan formgivaren träna en egen LoRA. När adaptern sedan kopplas ihop med en öppen bildmodell kan keramikern skriva instruktioner som placerar porslinet på ett frukostbord i en sekelskifteslägenhet i Göteborg eller på en solvarm klippa i Bohuslän. Adaptern ser till att koppens formspråk och ytstruktur förblir exakt densamma i varje bild, trots att bakgrunden ändras helt.

Så testar och utvärderar du en adapter

När du laddar ner eller skapar en LoRA är det klokt att arbeta metodiskt för att se vad tillägget faktiskt bidrar med i praktiken:

  1. Kontrollera kompatibiliteten: En adapter fungerar bara tillsammans med den modellfamilj och basversion som den tränades för. Läs dokumentationen noga för att se om det krävs ett särskilt aktiveringsord i din prompt.
  2. Skapa en referensbild eller grundtext: Kör först din prompt helt utan adapter. Spara alla inställningar, inklusive frönummer (seed) och upplösning, så att du har en fast utgångspunkt för jämförelse.
  3. Justera vikten gradvis: De flesta verktyg låter dig välja styrka för adaptern, ofta på en skala mellan noll och ett. Börja med ett måttligt värde snarare än full effekt. För hög vikt låser ofta modellen och skapar förvrängningar.
  4. Pröva nya sammanhang: Testa att placera det inlärda motivet i oväntade miljöer. Om modellen bara klarar av att återskapa exakt samma vinklar som fanns i träningsmaterialet har adaptern blivit övertränad.

Vanliga begränsningar och misstag

Den vanligaste fallgropen med LoRA är tron att adaptern kan lösa brister i grundmodellen. Om basmodellen inte förstår anatomi, ljussättning eller svensk grammatik kommer inte en adapter att reparera den grundläggande förståelsen. Adaptern är en styrande lins, inte en helt ny motor.

Ett annat misstag är att använda för dåligt träningsmaterial. För att modellen ska lära sig kärnan i ett koncept behöver den se motivet från varierande vinklar, med olika ljus och mot neutrala bakgrunder. Tränar man på för få eller snarlika bilder lär sig modellen bakgrundsbruset i stället för själva föremålet. Dessutom krävs alltid respekt för upphovsrätt och personlig integritet när man samlar in träningsdata.

Så ställer du in det i Midjourney, FLUX, Ideogram, GPT Image och ComfyUI, med före- och efterbilder: LoRA-styrka (LoRA weight) i parameterordlistan

Vanliga frågor

Vad är skillnaden mellan LoRA och vanlig finjustering?

Vid traditionell finjustering ändras alla parametrar i grundmodellen, vilket kräver mycket datorkraft. LoRA fryser grundmodellen och tränar bara en liten separat adapter som läggs ovanpå.

Är LoRA inom AI samma sak som LoRaWAN?

Nej, de delar bara namn. LoRa inom AI är en algoritm för att anpassa maskininlärningsmodeller, medan LoRa och LoRaWAN är radioprotokoll för trådlösa sensorer.

Kan jag flytta en LoRA mellan olika basmodeller?

Nej, en LoRA är matematiskt bunden till den specifika modellarkitektur och basmodell den tränades på. Du kan inte använda en adapter för en viss bildmodell på en helt annan modell.

Vad betyder styrka eller vikt när man använder en adapter?

Styrkan avgör hur kraftigt adaptern påverkar resultatet. Ett lågt värde ger subtila ändringar medan ett för högt värde kan göra texten stel eller förvränga bildens detaljer.

← Alla termer i AI-ordlistan

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›