過学習(Overfitting)
過学習とは、AIが訓練データを丸暗記してしまい、まだ見ぬ新しいデータに対して正しく予測や判断ができなくなる現象のことです。
過学習とは、機械学習やディープラーニングのモデルが学習用データに過剰に適応してしまい、手元のデータでは完璧に近い精度を出すものの、未知の新しいデータに対しては予測精度が著しく落ちてしまう状態を指します。英語の「Overfitting(オーバーフィッティング)」を直訳した言葉であり、AI開発において最も頻繁に直面する代表的な失敗パターンのひとつです。
本来、AIにデータを学習させる目的は、背後にある一般的な規則性や傾向を捉えて、将来の状況や未知の入力に汎用的に対応させる(汎化能力を高める)ことです。しかし過学習に陥ると、モデルは本質的な法則だけでなく、訓練データに含まれる特異な偶然性やノイズまで記憶してしまいます。
身近な例で理解する過学習の正体
過学習の感覚は、受験勉強における「過去問の丸暗記」に例えると直感的に理解できます。たとえば、東京都内の高校入試に向けて過去10年分の数学の過去問を解く受験生を思い浮かべてみてください。公式や解法の本質を理解した生徒は、出題パターンが変わった本番の試験でも応用力を発揮して合格点を取ることができます。
一方で、過去問の数字や設問の並び順まで丸暗記した生徒は、手元の問題集を解かせれば満点を取れますが、本番の試験で少し数値や条件が変わった途端に手も足も出なくなります。この「問題集だけ満点で、初見の問題には弱い」という状態こそが、AIにおける過学習そのものです。
過学習が起こる主な原因
過学習が発生する根本的な要因は、データの量や質と、モデルの複雑さのバランスが崩れている点にあります。
- 訓練データの不足と偏り: 学習用データの件数が少なすぎる場合、AIはデータ全体の傾向ではなく個々のサンプルの特徴を過剰に記憶してしまいます。
- モデルの表現力が高すぎる: パラメータ数が多すぎる複雑な構造のモデルを使うと、不要なノイズや例外的な数値まで無理やり学習曲線にフィットさせてしまいます。
- 過度な反復学習(エポック数の過多): 同じデータを何百回も繰り返し学習させ続けることで、手元のデータに最適化されすぎてしまいます。
実務での検知と効果的な防止策
過学習を見つけ出す最も基本的な方法は、あらかじめ手元のデータを「学習用」と「評価用(テスト用)」に分割しておくことです。学習を進める中で、学習用データに対する正解率は上がり続けているのに、評価用データに対する正解率が横ばい、あるいは悪化し始めたタイミングがあれば、過学習が始まっていると判断できます。
過学習を防ぐためには、学習を途中で切り上げる早期終了(Early Stopping)や、複雑すぎるモデルにペナルティを課す正則化という仕組みを導入します。また、画像やテキストに軽微な変換を加えてデータ量を人工的に増やすデータ拡張を行ったり、多様な現場のデータを集め直すことも根本的な解決につながります。
未学習(アンダーフィッティング)との違い
過学習の対極にある概念が「未学習(Underfitting)」です。未学習は、モデルの構造が単純すぎたり学習時間が足りなかったりして、訓練データの特徴すら十分に捉えられていない状態を指します。過去問すら合格点に届かない状態が未学習であり、過去問だけ満点を取れる状態が過学習です。機械学習の目的は、この未学習と過学習の境界にある、初見の問題にも強いバランスの良いモデルを作り上げることです。
よくある質問
過学習と未学習の違いは何ですか?
未学習はモデルの学習不足によって訓練データでも正解率が低い状態を指し、過学習は訓練データに過剰に適応して未知のデータに対応できなくなる状態を指します。
ChatGPTなどの大規模言語モデルでも過学習は起きますか?
起きます。言語モデルが過学習を起こすと、学習データに含まれていた特定のウェブページや著作権テキストを一言一句そのまま出力してしまう現象(暗記再生)などが生じます。
過学習が起きているサインをどうやって察知しますか?
学習データの正解率が伸び続けているにもかかわらず、学習に使っていないテストデータの正解率が低下、または停滞し始めたときに過学習を検知できます。
