Słownik AI / Overfitting
🏗️ Modele i trening
Overfitting
Model „wykuwa na pamięć” dane treningowe zamiast uczyć się ogólnych wzorców.
Overfitting (przeuczenie) to sytuacja, w której model zamiast nauczyć się ogólnych wzorców, „wykuwa na pamięć” dane treningowe. Na materiale, który widział, radzi sobie świetnie; na nowych przypadkach - słabo. To klasyczny problem całego uczenia maszynowego.
W dużych modelach językowych przeuczenie objawia się m.in. odtwarzaniem zapamiętanych fragmentów treningu słowo w słowo. Zapobiega się mu odpowiednią różnorodnością danych, technikami regularyzacji i testowaniem modelu na materiale, którego nie widział podczas nauki.
Pojęcia powiązane