オフポリシーデータ

オフポリシーデータとは

オフポリシーデータは、強化学習において現在最適化しようとしている方策とは異なる方策で収集されたデータです。

オンポリシーとの違い

オンポリシー学習は方策更新のたびに新データが必要ですが、オフポリシー学習は過去のデータを再利用でき、データ効率が高い点が特徴です。

代表的なアルゴリズム

Q学習やDQNが代表です。近年は大規模言語モデルの学習にも応用されています。

ビジネスでの意義

AIエージェントの効率的な学習や、過去の業務ログを活用した自動化システム構築に重要な役割を果たしています。