学習データ

LLM学習データの構成:
├── Webテキスト
│   └── CommonCrawl、C4
├── 書籍
│   └── Books3、Gutenberg
├── Wikipedia
│   └── 多言語Wikipedia
├── コード
│   └── GitHub、Stack Overflow
├── 学術論文
│   └── arXiv、PubMed
└── 対話データ
    └── Reddit、フォーラム

データ品質の影響:
├── ノイズ
│   └── 誤った情報の学習
├── バイアス
│   └── 偏った出力
├── 重複
│   └── 過学習のリスク
├── 有害コンテンツ
│   └── 不適切な出力
└── 古い情報
    └── 知識のカットオフ

SFT用データ形式:
{
    "instruction": "指示文",
    "input": "入力（オプション）",
    "output": "期待する出力"
}

RLHF用データ形式:
{
    "prompt": "プロンプト",
    "chosen": "良い回答",
    "rejected": "悪い回答"
}

合成データの活用:
├── LLMによる生成
│   └── 指示-応答ペアの生成
├── データ拡張
│   └── 既存データの変換
└── シミュレーション
    └── 仮想環境でのデータ生成