レッドチーミング

レッドチーミングとは

レッドチーミング（Red Teaming）は、攻撃者の視点からAIシステムの脆弱性や安全性の不備を発見・評価する手法です。従来のサイバーセキュリティ分野で使われてきた概念をAI安全性の評価に応用したものです。

目的

• AIシステムに施したリスク対策の有効性を検証
• ジェイルブレイクやプロンプトインジェクションへの耐性を評価
• 有害な出力や偏見のあるコンテンツの生成リスクを特定
• 安全性や信頼性を向上させるための改善点を発見

実施方法

人間によるテスト

専門家がAIシステムに対して様々な攻撃パターンを試行し、脆弱性を発見します。多言語攻撃やロールプレイなど創造的なアプローチも含まれます。

自動化されたテスト

攻撃パターンを自動生成し、大量のテストケースを効率的に実行します。AnthropicやOpenAIが活用している手法です。

ハイブリッド型

人間と自動化の両方を組み合わせることで、どちらか一方では見つけられない脆弱性を発見します。

日本の取り組み

AIセーフティ・インスティテュート（AISI）

IPA（情報処理推進機構）が「AIセーフティに関するレッドチーミング手法ガイド」を公開しています。RAGシステムに対するレッドチーミングの手順も詳細に解説されています。

国際的な位置づけ

EU AI Actや広島AIプロセス成果文書においても、テスト・評価手法としてレッドチーミングが明記されています。AI開発における標準的な安全性評価手法として定着しつつあります。