強化学習

強化学習の構成要素:
├── エージェント（学習主体）
├── 環境（相互作用する世界）
├── 状態（環境の観測）
├── 行動（エージェントの選択）
├── 報酬（行動の評価）
└── 方策（行動選択のルール）

学習サイクル:
1. 状態 s を観測
   ↓
2. 方策 π に基づき行動 a を選択
   ↓
3. 行動を実行
   ↓
4. 報酬 r と新状態 s' を取得
   ↓
5. 経験から方策を更新
   ↓
6. 1に戻る

RLHF（人間フィードバックによる強化学習）:
1. [基盤モデル](/glossary/foundation-model)の事前学習
   ↓
2. 人間による出力評価
   ↓
3. 報酬[モデル](/glossary/model)の学習
   ↓
4. 方策[最適化](/glossary/optimization)（PPOなど）
   ↓
5. 人間の好みに沿ったモデル

# PPOの基本的な考え方（概念）
def ppo_update(old_policy, new_policy, advantage):
    ratio = new_policy / old_policy
    # クリッピングで大きな更新を防ぐ
    clipped = clip(ratio, 1-epsilon, 1+epsilon)
    loss = min(ratio * advantage, clipped * advantage)
    return loss