さらに詳しく解説
帰納バイアスとは
帰納バイアス（Inductive Bias）は、AIモデルが未知のデータに対して予測を行う際に、どのような法則性を優先して見つけ出そうとするかという「学習の前提条件」や「傾向」のことです。
なぜ帰納バイアスが必要か
限られた学習データから無限に存在しうるパターンの中から「正解」を選ぶには、何らかの仮定（バイアス）が不可欠です。帰納バイアスがないモデルは、あらゆる可能性を等しく検討するため、実用的な汎化ができません。
代表的な帰納バイアス
| モデル | 帰納バイアス | 意味 |
|---|---|---|
| 線形回帰 | 線形性 | 入出力関係は直線的 |
| CNN | 局所性・平行移動不変性 | 画像の特徴は位置に依存しない |
| Transformer | 注意機構 | 重要な要素に集中する |
| 決定木 | 軸平行分割 | 1つの特徴量で分岐 |
強い帰納バイアス vs 弱い帰納バイアス
| 強いバイアス | 弱いバイアス | |
|---|---|---|
| データ量（少） | 有効（少ないデータでも学習） | 不十分（過学習しやすい） |
| データ量（多） | 制約になりうる | 柔軟に学習（高精度） |
| 例 | CNN（画像に特化） | Transformer（汎用的） |
AI安全性との関連
創発的ミスアライメントの研究では、ファインチューニングによってモデルの帰納バイアスが変化し、意図しない方向に汎化してしまうことが問題視されています。帰納バイアスの制御はAI安全性の観点からも重要な研究テーマです。
