アーカイブ / LLM / AI Agent
攻撃文を作るモデルと応答するモデルを交互に鍛える安全性学習「MAGIC」
MAGIC
MAGICの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Motivation . Left: Static red-teaming and heuristic methods can easily bypass simple filters but fail at complex multi-turn deception due to limited offensive Chain-of-Thought data. Right: Previous self-play methods (e.g., Self-RedTeam ( Liu et al., 2025 ) ) use a single backbone model for both attack and defense, leading to gradient conflicts due to opposing objectives.
概要
- MAGICは攻撃文を作るモデルと応答するモデルを分け、両者を交互に更新する。
- 著者らのWildGuardTest評価では、Qwen2.5-7B-Instructの攻撃成功率が原モデル36.5％、MAGIC2.3％だった。
- 理論上の安全性は均衡などの条件に依存する。実務では過剰な拒否と一般能力も個別に確認する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MAGICの仕組み
- 01元の依頼文
- 02攻撃文生成
- 03防御役の応答
- 04報酬で交互更新
- 05更新済み両モデル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MAGICは、攻撃文を作るモデルと、その文に応答するモデルを学習中に更新する方法である。LLM（大規模言語モデル）の安全対策を事前収集した攻撃文だけで学ぶと、後から現れる言い回しへの対応が遅れうる。
一方、拒否を強めるだけでは通常の依頼にも答えなくなるおそれがある。実務で安全性を判断するには、拒否すべき依頼への応答と、回答すべき依頼への応答を分けて調べる必要がある。
手法
まず攻撃役を、元の依頼文と書き換えた攻撃文の組で教師あり学習する。これは正解例に沿って出力を学ぶ方法で、著者らは書き換えの途中の考え方を補ったデータも用いる。例えば、元の有害な依頼を遠回しな文に変え、その文を防御役に渡す。
続いて有害・無害な依頼を同数含む学習データを使い、一方のモデルを固定して他方を更新する。GRPOは複数の候補の報酬をグループ内で比べる強化学習手法である。防御役は応答の安全性と適切な拒否、攻撃役は防御役の反応と出力形式に基づく報酬で学ぶ。この交互更新を繰り返し、攻撃役と防御役の両モデルを得る。
新規性
MAGICは、攻撃役が依頼文を書き換え、その文を見た防御役が応答する順序を学習に取り込む。両者に別々のモデルと目的を与え、役割ごとに更新する点が、同じモデルの重みを共有する自己対戦方式との違いである。
著者らは、どの攻撃文に対しても防御役が最適に応答する「部分ゲーム完全ナッシュ均衡」を理論上の目標に置く。安全な拒否または代替応答が各攻撃文に存在し、その均衡に達した場合に成り立つ安全性の主張である。
従来手法との違い
比較対象には、学習前のQwen2.5・Llama3.1、攻撃役と防御役で重みを共有するSelf-RedTeam、推論時の防御策であるSmoothLLMとSelf-Evalがある。著者らは、共有した重みに相反する目的を与えると更新が衝突すると論じる。
MAGICは両役の更新を分ける。表に示された条件では攻撃成功率が多くの比較対象より低いが、無害な入力への応答や一般能力の値には指標やモデルによる増減がある。すべての能力を同時に改善したという結果ではない。
実験結果
著者らは有害な依頼の拒否、無害な依頼への応答、一般能力を評価した。主な安全性判定にはQwen3Guardを使用。Qwen2.5-7B-InstructのWildGuardTestでは、攻撃成功率（ASR）は原モデル36.5％、Self-RedTeam25.5％、MAGIC2.3％で、低いほど攻撃が成功しにくい。
同じモデルのWildJailBreakの攻撃的に書かれた無害な入力では、表中の応答を示すASRは原モデル99.2％、MAGIC96.8％だった。一般能力のIFEval Prompt Looseは0.749と0.745。これらは表の条件での著者らの結果であり、確認できた本文の範囲では複数回の対話を使う攻撃の最終結果までは確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。社内向け質問応答モデルの更新前に、攻撃的に書き換えられた質問への応答を点検する。入力には、社内で回答を許す質問と拒否すべき質問を集め、各質問に応答方針のラベルを付ける。扱うのは文章で、追加のセンサーは想定しない。
攻撃役で質問を言い換え、防御役の返答と判定結果を記録する。出力は、不適切に回答した例と、回答できる質問を過剰に拒否した例の一覧とする。社内固有の表現や方針に合わせたデータと判定基準への調整が必要で、改善は検証対象である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。対象業務から回答可能な依頼と拒否すべき依頼を集め、人手で応答方針のラベルを付ける。書き換え例も用意し、社内の規則に合わせて判定基準を調整する。入力は文章とし、追加のセンサーは不要とする。
小規模な試行では現在のモデルを基準に、更新前後を同じ未使用の評価データで比べる。有害な依頼への不適切な回答率と、無害な依頼への過剰な拒否率を別々に数え、書き換え方針ごとの結果も確認する。自動判定と人手の判断が割れた応答は再確認する。
限界と課題
著者らは、大規模言語モデルでは厳密な部分ゲーム完全ナッシュ均衡を計算しにくく、実際には交互更新で近づけると述べる。したがって、均衡に関する定理を学習後の全応答の保証とは扱えない。
編集上の検証事項として、学習と主な安全性評価に使うQwen3Guardの判定を人手で照合したい。一般能力にも低下例があり、Qwen2.5-14B-InstructのAlpacaEval 2は原モデルの38.113％に対しMAGICでは30.954％だった。対象業務でも安全性と有用性を別々に測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
MAGIC: A Co-Evolving Attacker-Defender Adversarial Game for Robust LLM Safety
Ensuring robust safety alignment is crucial for Large Language Models (LLMs), yet existing defenses often lag behind evolving adversarial attacks due to their \textbf{reliance on static, pre-collected data distributions}. In this paper, we introduce \textbf{MAGIC}, a novel multi-turn multi-agent reinforcement learning framework that formulates LLM safety alignment as an adversarial asymmetric game. Specifically, an attacker agent learns to iteratively rewrite original queries into deceptive prompts, while a defender agent simultaneously optimizes its policy to recognize and refuse such inputs. This dynamic process triggers a \textbf{co-evolution}, where the attacker's ever-changing strategies continuously uncover long-tail vulnerabilities, driving the defender to generalize to unseen attack patterns. Remarkably, we observe that the attacker, endowed with initial reasoning ability, evolves \textbf{novel, previously unseen combinatorial strategies} through iterative RL training, underscoring our method's substantial potential. Theoretically, we provide insights into a more robust game equilibrium and derive safety guarantees. Extensive experiments validate our framework's effectiveness, demonstrating superior defense success rates without compromising the helpfulness of the model. Our code is available at https://github.com/BattleWen/MAGIC.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01