さらに詳しく解説
ロングコンテキストとは
ロングコンテキスト（Long-Context）は、LLMが非常に長い入力テキストを一度に処理できる能力を指します。コンテキストウィンドウの拡大により、書籍全体や長時間の動画の分析が可能になっています。
技術的な進歩
コンテキストウィンドウの拡大
効率的な注意機構
通常のSelf-Attentionはコンテキスト長の2乗に比例する計算量が必要ですが、Sparse Attention、FlashAttentionなどの技術により、長コンテキストでも効率的に処理できるようになっています。
活用シーン
- 長い文書（法律文書、技術仕様書）の分析
- 書籍全体の要約・質問応答
- 長時間の音声・動画の内容理解
- 大規模コードベースの分析
課題
- 長コンテキストでの推論精度の低下（「迷子になる」現象）
- 計算コストの増大
- コンテキストの中央部分の情報が無視されやすい傾向
