最適化

基本的な勾配降下:
θ = θ - η * ∇L(θ)

θ: パラメータ
η: 学習率
∇L: 損失関数の勾配

Adamの特徴:
├── モメンタム（慣性）を使用
├── 適応的な学習率
├── 広く使用される標準的手法
└── パラメータ: β1=0.9, β2=0.999

学習率調整戦略:
├── ステップ減衰
│   └── 一定エポックごとに減少
├── コサインアニーリング
│   └── コサイン曲線で滑らかに減少
├── ウォームアップ
│   └── 最初は小さく、徐々に増加
└── 周期的再起動
    └── 学習率を周期的にリセット

精度とメモリ:
├── FP32（32ビット浮動小数点）
│   └── 精度最高、メモリ大
├── FP16（16ビット）
│   └── 精度良好、メモリ半減
├── INT8（8ビット整数）
│   └── 精度低下、メモリ1/4
└── INT4（4ビット整数）
    └── 精度低、メモリ1/8