トークン

トークン化（Tokenization）:
├── 入力テキスト
│   └── "Hello, how are you?"
├── トークン分割
│   └── ["Hello", ",", " how", " are", " you", "?"]
└── トークンID変換
    └── [15496, 11, 703, 527, 499, 30]

おおよその目安:
├── 英語
│   ├── 1トークン ≈ 4文字
│   └── 1トークン ≈ 0.75単語
└── 日本語
    ├── 1トークン ≈ 1-2文字
    └── 1文字 ≈ 1-3トークン

# トークン数の計算例
import tiktoken

encoding = tiktoken.encoding_for_model("gpt-4o")
text = "こんにちは、今日はいい天気ですね。"
tokens = encoding.encode(text)
print(f"トークン数: {len(tokens)}")  # 約20トークン

トークン削減のテクニック:
├── プロンプト最適化
│   └── 冗長な表現を削除
├── 要約の活用
│   └── 長文を圧縮
├── チャンク分割
│   └── 必要な部分のみ処理
└── キャッシング
    └── 重複処理を回避