Overfitting (sovradattamento)
L'overfitting è il fenomeno per cui un modello impara a memoria i dati di addestramento invece di cogliere regole generali, fallendo sui dati nuovi.
L'overfitting, spesso reso in italiano con il termine sovradattamento, è uno dei problemi più frequenti nel machine learning. Si verifica quando un algoritmo si adatta in modo eccessivo ai dati usati durante il suo addestramento, finendo per memorizzare dettagli insignificanti, rumore di fondo ed eccezioni statistiche invece di comprendere le regole generali del fenomeno.
Il risultato pratico è un'illusione di perfezione: il modello ottiene punteggi straordinari sulle informazioni che già conosce, ma fallisce clamorosamente non appena viene messo alla prova con situazioni inedite. È l'equivalente di uno studente che impara a memoria le risposte di un compito in classe passato: prenderà il massimo dei voti solo se il professore ripropone lo stesso identico foglio, ma andrà in crisi davanti a qualsiasi quesito leggermente diverso.
Come funziona il sovradattamento
Durante la fase di addestramento, il software analizza migliaia o milioni di esempi per individuare correlazioni. Se il modello è troppo complesso rispetto alla quantità di dati disponibili, o se viene lasciato studiare troppo a lungo sullo stesso archivio, comincerà a considerare rilevanti anche le minime coincidenze casuali presenti nel set.
In questo scenario, la curva di errore cala drasticamente per il materiale di studio, ma inizia a salire vertiginosamente quando si misurano le prestazioni su un insieme di verifica separato. Il sistema perde la sua capacità di generalizzazione, che rappresenta il vero scopo di qualsiasi intelligenza artificiale.
Un esempio pratico: le prenotazioni in un agriturismo toscano
Immaginiamo un agriturismo sulle colline del Chianti che decide di creare un sistema predittivo per stimare quanti coperti preparare nel fine settimana, basandosi sui dati storici degli ultimi cinque anni. Il gestore inserisce nel sistema parametri come meteo, temperatura, festività e perfino il giorno in cui il furgone del fornitore di farina ha fatto la consegna.
Se il modello soffre di overfitting, potrebbe concludere che ogni volta che piove di sabato e il fornitore è passato di giovedì con una targa che finisce con un numero pari, il ristorante sarà pieno al cento per cento. Questa relazione era solo un caso fortuito avvenuto tre volte in passato, ma per l'algoritmo diventa una legge ferrea. Quando il modello verrà usato nella stagione successiva, sbaglierà le previsioni sulla spesa e sul personale, perché si affida a schemi inesistenti nel mondo reale.
Cosa comporta nei modelli di testo avanzati
Nei grandi modelli linguistici, il sovradattamento produce effetti ancora più evidenti e problematici. Il più classico è la memorizzazione letterale, parola per parola, di lunghi passaggi presenti nei testi di partenza.
Quando un utente pone una domanda, invece di elaborare un testo originale e contestuale, il sistema rigurgita interi paragrafi memorizzati, rischiando di violare la riservatezza delle informazioni o i diritti d'autore. Inoltre, un modello linguistico sovradattato diventa rigido: fatica a gestire sinonimi non visti prima o dialetti regionali, interpretando ogni scostamento lessicale come un errore inspiegabile.
Come evitare e contrastare l'overfitting
Risolvere il problema del sovradattamento richiede metodo sia nella preparazione dei dati sia nell'impostazione degli algoritmi. I tecnici applicano solitamente un insieme di buone pratiche:
- Suddivisione rigorosa dei dati: separare subito l'archivio in gruppi distinti per addestramento, validazione e test finale, assicurandosi che il modello non veda mai il test prima della valutazione.
- Arricchimento del campione: raccogliere più dati o creare varianti sintetiche per aumentare la diversità degli scenari possibili.
- Tecniche di regolarizzazione: introdurre penalità matematiche che scoraggiano il modello dall'attribuire un peso eccessivo a singoli dettagli marginali.
- Interruzione anticipata: monitorare costantemente i risultati sui dati di validazione e fermare l'apprendimento non appena l'accuratezza su questi ultimi smette di migliorare.
- Semplificazione dell'architettura: ridurre il numero di parametri quando il problema da risolvere non giustifica una rete neurale enorme.
L'errore tipico: fidarsi delle metriche interne
L'errore più comune commesso da sviluppatori alle prime armi o da aziende che commissionano un software è valutare l'affidabilità guardando unicamente l'accuratezza sui dati di addestramento. Vedere una precisione vicina al cento per cento genera spesso un falso senso di sicurezza. La vera misura del valore di un modello risiede sempre nella sua capacità di interpretare correttamente il mondo esterno, caotico e imprevisto, lontano dalla rassicurante perfezione del laboratorio.
Domande frequenti
Qual è la differenza principale tra overfitting e underfitting?
L'overfitting si verifica quando il modello impara troppo a memoria i dati e non sa generalizzare, mentre l'underfitting accade quando il sistema è troppo semplice e non riesce a cogliere nemmeno gli schemi fondamentali.
Aumentare i dati aiuta sempre a combattere l'overfitting?
Di solito sì, purché i nuovi dati siano vari e rappresentativi della realtà. Aggiungere semplicemente duplicati o informazioni identiche a quelle già presenti non risolve il problema.
Come ci si accorge che un modello è in overfitting?
Il segnale tipico è una forbice che si allarga: l'errore sui dati usati per l'allenamento continua a diminuire, mentre l'errore sui dati di prova nuovi comincia ad aumentare.
