学習（トレーニング）

LLM学習の段階:
1. 事前学習（Pre-training）
   └── 大規模テキストで言語モデル学習
   ↓
2. 教師あり微調整（SFT）
   └── 指示-応答ペアで調整
   ↓
3. RLHF/DPO
   └── 人間のフィードバックで最適化

ファインチューニングの種類:
├── フルファインチューニング
│   └── 全パラメータを更新
├── LoRA
│   └── 低ランク行列を追加学習
├── QLoRA
│   └── 量子化＋LoRA
└── Adapter
    └── 小さな層を追加

よくある課題:
├── 過学習
│   └── 訓練データに過適合
├── 壊滅的忘却
│   └── 新学習で旧知識を忘れる
├── 勾配消失/爆発
│   └── 深いネットワークで発生
└── 分布シフト
    └── 訓練と実環境の差

大規模学習の手法:
├── データ並列
│   └── データを分割して並列処理
├── モデル並列
│   └── モデルを分割して配置
├── パイプライン並列
│   └── 層ごとに分割
└── ZeRO
    └── 状態を分散保持