解説
AIが文章を作るときに、これまでに書いた文章をもとにして「次に来る確率が一番高い単語」を1つずつ順番に予測して書き足していく仕組み。
さらに詳しく解説
自己回帰生成（Autoregressive Generation）は、過去に生成したトークンを条件として次のトークンを順に予測する生成方式です。GPTをはじめとする多くの大規模言語モデルが採用している基本的な生成手法です。
仕組み
入力: 「今日は」
→ 次のトークン予測: 「いい」
→ 次のトークン予測: 「天気」
→ 次のトークン予測: 「です」
→ 出力: 「今日はいい天気です」各ステップで、それまでに生成した全トークンを条件付け（コンテキスト）として確率分布を計算し、もっとも確率が高いトークンやサンプリングで選んだトークンを採用します。
特徴
| 観点 | 内容 |
|---|---|
| 生成順 | 左から右へ一方向（先頭から順） |
| 計算量 | トークン長に比例して増える |
| 並列性 | 学習時は並列、生成時は逐次 |
| 一貫性 | 前文脈を踏まえるため文脈整合性が高い |
他の生成方式との比較
| 方式 | 代表例 | 生成の方向 |
|---|---|---|
| 自己回帰 | GPT系 | 左→右、逐次 |
| マスク言語モデル | BERT | 双方向、穴埋め |
| 拡散モデル | Diffusion Model | ノイズ除去で全体を同時生成 |
| フロー・マッチング | 一部の最新画像／音声モデル | 連続変換で全体生成 |
実務上のポイント
- 生成速度はトークン数に比例して遅くなる（KVキャッシュなどの最適化が重要）
- 一度生成したトークンを後戻りして修正できないため、最初の数トークンの選択が品質を大きく左右する
- 推論時の温度・top-p等のサンプリングパラメータで多様性を制御できる
自己回帰生成はテキスト生成の事実上の標準であり、近年は画像・音声・動画にも適用が広がっています。
