Diffusjonsmodell (diffusion model)
En diffusjonsmodell er en type kunstig intelligens som skaper bilder, lyd eller video ved å gradvis fjerne digital støy fra et tilfeldig mønster.
En diffusjonsmodell er en form for generativ kunstig intelligens som lager nytt innhold ved å snu en ødeleggelsesprosess på hodet. I stedet for å tegne et bilde fra bunnen av med faste linjer, starter modellen med en skjerm full av tilfeldig, digital støy. Deretter renser den støyen steg for steg, helt til et klart og detaljert bilde, en lydfil eller en videosnutt trer frem i tråd med instruksjonene den har fått.
Denne arkitekturen utgjør selve fundamentet i de fleste moderne verktøy for tekst-til-bilde. Teknikken har i stor grad erstattet eldre metoder fordi den gir langt mer stabile resultater, færre visuelle feil og en uovertruffen evne til å tolke nyanserte tekstbeskrivelser.
Prinsippet: Å finne orden i fullstendig kaos
For å forstå hvordan en diffusjonsmodell virker, kan man se for seg to ulike faser: opplæring og skaping. Under opplæringen blir modellen matet med millioner av vanlige bilder. Hvert bilde blir gradvis tilført et lag med digital støy gjennom flere trinn, helt til det opprinnelige motivet er fullstendig hvisket ut og bare ligner snø på en gammel TV-skjerm. Modellens oppgave er å lære nøyaktig hvordan støyen ble lagt til i hvert enkelt trinn, slik at den forstår hvordan endringen kan reverseres.
Når du ber modellen om å lage noe nytt, skjer prosessen i revers. Systemet henter frem et tomt lerret med tilfeldig støy. Ved hjelp av tekstinstruksen din, som fungerer som en rettesnor, fjerner modellen en liten dose støy om gangen. I de første stegene dannes bare grove konturer og fargefelter, men etter hvert som støyen forsvinner, dukker lyssetting, teksturer og fine detaljer opp.
Et lokalt eksempel: Fra idé til markedsmateriell
Tenk deg en liten håndverksbaker i Bergen som skal lansere en kampanje for ferske skillingsboller i høstværet. Bakeriet har verken tid eller budsjett til å leie inn en fotograf midt i morgenrushet, og velger i stedet å teste et bildeverktøy basert på en diffusjonsmodell.
Markedsføreren skriver inn en ledetekst som ber om et nærbilde av nystekte kanelboller på et rustikt trebord, med regntunge brostein og fargerike trehus i uskarp bakgrunn. Diffusjonsmodellen starter med en grå flate av ren støy. I løpet av noen sekunder gjetter og justerer algoritmen piksler over mange små trinn: først skiller den forgrunnen fra bakgrunnen, så aner man konturene av et trebord, før sukkerkornene, kanelen og gjenskinnet fra regnværet blir sylskarpt. Bakeriet sitter igjen med en troverdig illustrasjon til sosiale medier uten at det finnes noe kamera involvert.
Trinn og innstillinger: Balansen mellom tid og detaljer
Når man arbeider med programmer som bygger på diffusjon, støter man ofte på begrepet prøvetrinn eller steg (sampling steps). Dette tallet bestemmer hvor mange ganger modellen skal fjerne støy før den erklærer bildet som ferdig:
- Få trinn: Bildet genereres raskt, men kan mangle skarphet, ha uklare teksturer eller inneholde merkelige feil i komplekse mønstre.
- Mange trinn: Modellen får tid til å polere små detaljer, rette opp ujevnheter og skape mer realistisk lys, men prosessen tar merkbart lengre tid og krever mer datakraft.
- Balansepunktet: For de fleste oppgaver finnes det en grense der flere trinn ikke lenger gir synlig forbedring, bare unødig venting.
En vanlig misforståelse: Klipper og limer modellen?
En utbredt misforståelse er at diffusjonsmodeller fungerer som et digitalt utklippsalbum som henter biter fra eksisterende fotografier på internett og limer dem sammen. Dette stemmer ikke. Modellen lagrer ingen bilder i sitt indre minne. Den har utelukkende lært seg matematiske prinsipper for hvordan lys, skygge, anatomi og materialer forholder seg til hverandre i overgangen fra kaos til struktur. Hvert eneste resultat er derfor et helt nytt regnestykke, formet ut fra en unik støyfordeling.
Slik stiller du det inn i Midjourney, FLUX, Ideogram, GPT Image og ComfyUI, med før- og etter-bilder: Antall steg (sampling steps) i parameteroversikten
Ofte stilte spørsmål
Hvorfor kalles det en diffusjonsmodell?
Navnet er lånt fra fysikken, der diffusjon beskriver hvordan partikler sprer seg og blander seg tilfeldig i et rom, akkurat slik støy gradvis sprer seg over et bilde.
Kan diffusjonsmodeller lage annet enn bilder?
Ja, samme prinsipp brukes nå til å generere naturtro lyd, musikk, tale og videoklipp ved å fjerne støy fra lydbølger eller bildesekvenser.
Blir bildet alltid bedre jo flere steg man velger?
Nei, etter et visst antall steg flater kvalitetsgevinsten ut, og bildet kan i enkelte tilfeller bli overbehandlet eller miste dynamikk.
Hvorfor ser fingre og hender av og til rare ut?
Hender har mange ledd og kan opptre i utallige vinkler, noe som gjør det matematisk krevende for støyreverseringen å finne riktig form uten tilstrekkelig veiledning.
