Przejdź do treści
promptowy.com / AI-begrippenlijst / Overfitting (overleren)
Modellen en training

Overfitting (overleren)

Overfitting is de situatie waarin een AI-model trainingsdata uit het hoofd leert in plaats van patronen te begrijpen, waardoor het faalt op nieuwe data.

Overfitting, in het Nederlands ook wel overleren genoemd, is een klassiek probleem binnen machine learning en data science. Het treedt op wanneer een wiskundig model de trainingsgegevens zo gedetailleerd uit het hoofd leert, inclusief toevallige meetfouten en ruis, dat het zijn vermogen verliest om te generaliseren naar nieuwe situaties. Het algoritme herkent dan geen overkoepelende patronen meer, maar klampt zich vast aan specifieke eigenschappen die alleen toevallig in die ene dataset voorkwamen.

Het resultaat is een model dat tijdens de ontwikkelingsfase perfect lijkt te functioneren: de score op het oefenmateriaal is nagenoeg vlekkeloos. Zodra hetzelfde model echter gegevens te verwerken krijgt die het nog nooit eerder heeft gezien, keldert de nauwkeurigheid dramatisch. Het model begrijpt de onderliggende logica immers niet, het reproduceert slechts wat het al kent.

Hoe overfitting precies ontstaat

Je kunt overfitting vergelijken met een student aan de universiteit in Leuven of Groningen die zich voorbereidt op een tentamen. In plaats van de theorie en de achterliggende concepten te begrijpen, leert deze student simpelweg alle oude examenvragen en antwoorden woord voor woord uit het hoofd. Krijgt de student op het echte examen exact dezelfde vragen voorgeschoteld, dan haalt deze een tien. Verandert de docent echter een paar getallen of formuleert deze een vraag net iets anders, dan raakt de student direct in de war en zakt het cijfer ver onder de maat.

Bij kunstmatige intelligentie gebeurt precies hetzelfde wanneer een model te complex is voor de hoeveelheid data die beschikbaar is. Als een neuraal netwerk miljoenen parameters heeft, heeft het voldoende capaciteit om elke uitzondering en elk stukje ruis letterlijk op te slaan, in plaats van de rode draad te filteren.

Een lokaal praktijkvoorbeeld: de fietsenmaker in Utrecht

Stel dat een fietsenwinkel met meerdere vestigingen in Utrecht en Amersfoort een AI-model bouwt om de dagelijkse vraag naar bandenplaksets en reparaties te voorspellen. De historische dataset bevat gegevens over het weer, de dag van de week, lokale evenementen en het aantal klanten.

Wanneer dit model lijdt aan overfitting, pikt het toevallige correlaties op die toevallig in het verleden samenvielen. Het model concludeert bijvoorbeeld dat er op een regenachtige dinsdagmiddag altijd precies zeven stadsfietsen met een lekke band binnenkomen, mits medewerker Lars op de werkvloer staat en het precies dertien graden is. Dit was in de trainingsweek toevallig het geval, maar het is geen bruikbare vuistregel voor de toekomst. Komt er een nieuwe regenachtige dinsdag met veertien graden, dan slaat het model de plank volledig mis omdat het te star vasthoudt aan irrelevante details.

Overfitting herkennen en opsporen

Het tijdig signaleren van overleren is essentieel voordat een algoritme in een productieomgeving belandt. Je herkent het fenomeen aan duidelijke signalen tijdens het ontwikkelproces:

  • Een groot prestatieverschil tussen datasets: Het model behaalt een nauwkeurigheid van bijna honderd procent op de trainingsdata, maar presteert matig op de validatie- of testdata.
  • Woordelijke herhaling bij taalmodellen: Bij grote taalmodellen uit overfitting zich vaak doordat het systeem hele alinea's tekst letterlijk citeert uit bronnen waarop het getraind is, in plaats van een origineel antwoord te formuleren.
  • Toenemende validatiefout: Tijdens het trainen zie je dat de foutmarge op de oefendata blijft dalen, terwijl de foutmarge op de controleset na een bepaald punt weer begint te stijgen.

Overfitting voorkomen bij machine learning

Om te zorgen dat een algoritme flexibel en accuraat blijft in de echte wereld, gebruiken datawetenschappers verschillende beproefde methoden:

  1. Data splitsen: Deel de beschikbare gegevens altijd strikt op in een trainingsset, een validatieset en een onafhankelijke testset die het model pas op het allerlaatste moment te zien krijgt.
  2. Regularisatie toepassen: Voeg wiskundige restricties toe aan het model, waardoor het 'gestraft' wordt voor onnodig complexe beslisregels of te zware gewichten.
  3. Vroegtijdig stoppen (early stopping): Breek het trainingsproces direct af op het moment dat de prestaties op de validatieset niet meer verbeteren.
  4. Data-augmentatie en opschoning: Zorg voor meer gevarieerde voorbeelden of creëer kunstmatige variaties van bestaande data, zodat het model leert omgaan met ruis en variatie.

Veelgemaakte denkfout

De grootste misvatting onder beginners is de aanname dat een model dat foutloos scoort op de trainingsdata automatisch geslaagd is. Een trainingsscore van honderd procent is in de praktijk zelden een triomf; het is vrijwel altijd een direct waarschuwingssignaal voor ernstige overfitting. Een robuust AI-model accepteert een kleine foutmarge op bekende data om betrouwbaar te kunnen functioneren op de realiteit van morgen.

Veelgestelde vragen

Wat is het verschil tussen overfitting en underfitting?

Bij overfitting leert het model de trainingsdata te gedetailleerd uit het hoofd en presteert het slecht op nieuwe data. Bij underfitting is het model juist te eenvoudig, waardoor het zelfs de basispatronen in de trainingsdata niet kan ontdekken.

Hoe herken je overfitting bij grote taalmodellen?

Bij taalmodellen herken je overleren doordat het systeem zinnen of volledige alinea's uit de trainingsdata letterlijk reproduceert (memorization), in plaats van zelfstandig logische verbanden te leggen.

Helpt meer data verzamelen tegen overfitting?

Ja, een grotere en vooral meer gevarieerde dataset is een van de effectiefste manieren om overfitting tegen te gaan, omdat toevallige ruis dan minder invloed krijgt op het totale model.

Wat betekent regularisatie in relatie tot overfitting?

Regularisatie is een verzamelnaam voor wiskundige technieken die de complexiteit van een model beperken, waardoor het gedwongen wordt om te focussen op de belangrijkste patronen in plaats van minieme details.

← Alle termen in de AI-begrippenlijst

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›