マルチモーダル

マルチモーダルモデルの構造:
├── モダリティエンコーダ
│   ├── ビジョンエンコーダ（画像→ベクトル）
│   ├── オーディオエンコーダ（音声→ベクトル）
│   └── テキストエンコーダ（テキスト→ベクトル）
├── 統合層（フュージョン）
│   └── 各モダリティの表現を統合
├── [推論](/glossary/inference)層
│   └── 統合表現から推論
└── デコーダ
    └── 目的のモダリティで出力

# GPT-4oでの画像理解例
response = [openai](/glossary/openai).chat.completions.create(
    [model](/glossary/model)="gpt-4o",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "この画像を説明してください"},
                {"type": "image_url", "image_url": {"url": image_url}}
            ]
        }
    ]
)