さらに詳しく解説
モード崩壊(Mode Collapse)は、生成モデル(GAN・拡散モデル・LLMなど)が学習中に多様性を失い、似たような出力ばかりを返すようになる現象です。生成AIの品質を損なう代表的な失敗モードであり、対策が研究の中心テーマの1つになっています。
例えるなら
- 期待される動作:
入力「動物の絵を描いて」 → 犬・猫・鳥・魚など多様な動物を生成
- モード崩壊が起きた場合:
入力「動物の絵を描いて」 → 何度頼んでも犬の絵ばかり
生成モデルが「無難で確実に正解扱いされる出力」に過剰最適化してしまった状態です。
なぜ起きるか
| 原因 | 内容 |
|---|---|
| 損失関数の設計 | 「平均的に正しい」を最適化しすぎて多様性が消える |
| 学習データ偏り | 特定パターンが過剰に多く含まれる |
| 学習の局所解 | 一部の出力で十分良いスコアが取れてしまう |
| 評価器(Discriminator)の弱さ | GANで本物・偽物の判別が甘い |
領域別の現れ方
GAN
本物そっくりだが種類が極端に少ない画像ばかり生成する典型的な失敗。GAN研究の歴史はモード崩壊との戦いと言ってもよい。
拡散モデル
GANほど深刻ではないものの、特定のスタイル・構図に偏ることがある。
LLM
強化学習による調整(RLHF)後に「無難で似たような言い回し」ばかり返すケースが報告されている。
対策
- 多様性を促す損失関数:エントロピー正則化、ミニバッチ識別
- 学習の工夫:ラベルスムージング、ノイズ注入
- データ拡張:学習データの偏りを是正
- 評価指標の多様化:FIDやIS、人間評価など複数指標で監視
- 生成時のサンプリング調整:温度・top-pの調整
実務でのチェック方法
- 同じプロンプトで多数生成して結果のばらつきを目視
- ベクトル化して類似度分布を確認
- 複数の評価セットで多様性指標を測定
モード崩壊は「精度は出ているのに、なぜか面白くない/使いにくい」という現象の正体であることが多く、生成AIプロダクトの品質管理で必ず意識すべき概念です。
