解説
さらに詳しく解説
推論能力とは
推論能力(Reasoning)は、AIが論理的思考、問題解決、複雑な判断を行う能力です。単純な知識の想起ではなく、情報を組み合わせて新しい結論を導く力を指します。
推論の種類
| 種類 | 説明 | 例 |
|---|---|---|
| 演繹的推論 | 一般から個別を導く | 三段論法 |
| 帰納的推論 | 個別から一般を導く | パターン発見 |
| 類推 | 類似性から推論 | 比喩的理解 |
| 因果推論 | 原因と結果の関係 | 問題原因特定 |
LLMの推論能力
LLMの推論タスク:
├── 数学的推論
│ ├── 算術計算
│ └── 文章題解決
├── 論理的推論
│ ├── 演繹
│ └── 矛盾検出
├── 常識推論
│ ├── 物理的理解
│ └── 社会的理解
└── マルチステップ推論
└── 複数段階の思考推論を促すテクニック
Chain-of-Thought (CoT)
「ステップバイステップで考えてください」
効果:
- 複雑な問題の精度向上
- 思考過程の可視化
- エラーの特定が容易Tree-of-Thoughts (ToT)
複数の思考経路を探索し、最適解を選択。
Self-Consistency
複数回答を生成し、多数決で最終回答を決定。
推論ベンチマーク
| ベンチマーク | 測定対象 |
|---|---|
| GSM8K | 小学生レベル数学 |
| MATH | 高校〜大学レベル数学 |
| ARC | 科学的推論 |
| HellaSwag | 常識推論 |
| LogiQA | 論理的推論 |
モデル別推論性能
| モデル | 数学推論 | 論理推論 | 特徴 |
|---|---|---|---|
| GPT-4o | 高い | 高い | バランス良好 |
| Claude 3.5 | 高い | 非常に高い | 長文推論に強み |
| Gemini Ultra | 高い | 高い | マルチモーダル |
| o1 | 非常に高い | 非常に高い | 推論特化 |
推論能力の限界
LLMの推論の課題:
├── 多段階推論
│ └── ステップが増えると精度低下
├── 数値計算
│ └── 桁数が多いと誤り
├── 反事実推論
│ └── 仮定の推論が苦手
└── 計画立案
└── 長期的計画が困難推論能力を高める方法
| 方法 | 説明 |
|---|---|
| プロンプト工夫 | CoT、ToTの活用 |
| ツール連携 | 計算機、検索との連携 |
| エージェント化 | 段階的なタスク分解 |
| ファインチューニング | 推論データでの調整 |
