解説
データの分布がどの方向にどれくらい変化しやすいか（敏感か）を表す数学的な指標。本研究ではAIの行動を安全に修正するガイドとして使われる。
さらに詳しく解説
フィッシャー情報行列（Fisher Information Matrix; FIM）は、複数のパラメータを持つモデルについて、各パラメータがデータからどれだけの情報を得られるかを行列形式で表したものです。フィッシャー情報量の多次元版にあたります。
基本イメージ
パラメータが1つなら「フィッシャー情報量」は1つの数で表せますが、現代のニューラルネットは数億〜数兆パラメータあるため、各パラメータ間の関係性も含めて行列で扱う必要があります。
θ1 θ2 θ3 ...
θ1 [ I11 I12 I13 ... ]
θ2 [ I21 I22 I23 ... ]
θ3 [ I31 I32 I33 ... ]
...対角成分は「そのパラメータ単独の情報量」、非対角成分は「パラメータ同士の関係（共起する情報）」を表します。
主な用途
| 用途 | 概要 |
|---|---|
| 自然勾配法 | 勾配にフィッシャー情報行列の逆を掛けて更新方向を補正 |
| EWC（継続学習） | 過去タスクで重要なパラメータを保護 |
| モデル圧縮・刈り込み | 重要度の低いパラメータを特定して削除 |
| 不確実性推定 | パラメータ推定の信頼区間を見積もる |
計算上の課題
大規模モデルではパラメータが数億〜数兆なので、行列のサイズは「数億 × 数億」になり、そのまま保持できません。実務では以下の近似を使います。
- 対角近似：非対角成分を無視（実装が容易）
- 経験的フィッシャー情報行列：実データの勾配から推定
- K-FAC：層ごとにブロック化してクロネッカー積で近似
- シャーマン・モリソン式の利用：逆行列計算の効率化
実務での触れ方
フィッシャー情報行列を直接プログラミングする場面は少ないものの、以下のような道具・手法の背後で使われています。
- 継続学習ライブラリ（EWCなど）
- 自然勾配オプティマイザ
- 一部のモデル蒸留・刈り込み手法
概念として理解しておくと、最新の最適化手法や継続学習論文の理解が一段深まります。