アーカイブ / LLM
言語モデルと報酬モデルの同時失敗を探し、順番に修復するARES
ARES
概要
- ARESは中核の言語モデルと報酬モデルの失敗を同じ攻撃過程で調べ、報酬モデルから順に修復する。
- 著者のQwen系Safety Mentorを使った実験では、StrongRejectのSafety Rateが初期RLHFの0.79から0.97になった。
- 同じ実験でXSTestの誤拒否率は0.07から0.10に増えたため、安全性と誤拒否を併せて見る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ARESの仕組み
- 01話題・役割・目標・戦術
- 02攻撃文と応答対
- 03両モデルの失敗判定
- 04報酬モデルを修復
- 05中核モデルを修復
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ARESは、応答を作る中核の言語モデルと、その応答に点数を付ける報酬モデルを一緒に点検する手法である。人間の選好を学習に使うRLHFでは、報酬モデルの点数が中核モデルを調整する信号になる。
報酬モデルが有害な応答を高く評価すれば、調整の方向も誤り得る。中核モデルの応答だけを攻撃文で試す方法では、両モデルが同時に失敗する箇所を捉えきれないため、その組み合わせを調べる。
手法
Safety Mentorという生成用モデルが、話題、依頼者の役割、目標、攻撃の仕方を組み合わせ、攻撃文と有害・安全な応答例の組を作る。例えば専門家を名乗って危険な手順を求める形である。生成した攻撃文は判定器で選別し、中核モデルの返答を別の判定器で評価する。同時に、報酬モデルが有害な応答例を安全な例より高く評価するかを調べる。
失敗は報酬モデルだけ、中核モデルだけ、両方の三種類に分ける。失敗を見つけた構成要素は次の攻撃文で選ばれやすくする。修復では、報酬モデルの失敗例と一般的な学習データを使って先に報酬モデルを調整する。続いて中核モデルの失敗を招いた質問などを使い、修復後の報酬モデルの点数を学習信号として中核モデルを調整する。
新規性
ARESが狙うのは、中核の言語モデルが有害な応答を出し、報酬モデルもそれを高く評価する「同時失敗」である。攻撃文に加えて有害・安全な応答対を作り、両モデルを調べる。
見つかった失敗に応じて攻撃文の構成要素を選び直し、報酬モデルを先に修復する。その評価を使って中核モデルを調整する順序までを、一つの手順にした点が著者の主張である。
従来手法との違い
General Safe-Alignmentは、初期RLHFモデルを起点に、PKU-SafeRLHFの既存の選好対約1万800件を安全性データに使う。ARESも同じ二段階の修復手順を使うが、安全性データは対象システムを攻撃して見つけた失敗から作る。
FLIRT、APRT、FERRETとの別の比較では、各手法が作った攻撃文を使い、元の報酬モデルで中核モデルだけを修復した。これは攻撃文の生成方法を比べる条件であり、ARES全体の二段階修復の結果とは区別する必要がある。
実験結果
著者は中核モデルにQwen3-1.7B、報酬モデルにSkywork-RM-Qwen3-4Bを用いた。Safety Rateは、判定器が「完全に安全」と採点した応答の割合である。Qwen系Safety Mentorを使ったARESでは、初期RLHFからStrongRejectが0.79から0.97、HarmBenchが0.75から0.95になった。
一方、無害な質問への誤拒否を測るXSTestは0.07から0.10に増えた。攻撃文の構成要素を適応的に選ぶ場合と一様に選ぶ場合の比較では、StrongRejectが0.97対0.91、HarmBenchが0.95対0.88、MMLUはともに0.56と著者は報告する。これらは記載されたモデルと評価条件での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内問い合わせAIの更新前に、危険な依頼への応答と、無害な質問への誤拒否を調べる。入力は使用を認められた社内の質問例、対応方針、役割設定とし、出力は中核モデルと評価用モデルの失敗事例一覧にする。
学習に使うには、利用を認められた質問と、有害・安全な応答対、無害な質問への応答例が必要になる。各例に安全性と望ましさのラベルを付け、外部センサーは使わずテキストを扱う。攻撃文の分類と判定基準を自社方針に合わせる構想で、業務での効果は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の問い合わせAIと応答を評価するモデルを固定する。使用を認められた質問、対応方針、有害・安全な応答対、誤拒否を調べる無害な質問を集め、人手で安全性と望ましさのラベルを確認する。外部センサーは使わず、入力をテキストに限定する。
まず現行モデルを基準に、同じ質問群で安全な応答の割合、有害な応答の見逃し、誤拒否を測る。次に自社方針に合わせた攻撃文の構成要素と判定基準を定め、報酬モデル、中核モデルの順に小規模に調整して再測定する。安全性の変化と誤拒否の増減を併記する。
限界と課題
確認できた本文の範囲では、著者が明示した限界の記述は見当たらない。示された数値は記載されたモデル構成と評価条件での結果であり、別の業務領域やモデルで同じ結果が得られるとは示されていない。
編集上の検証事項は、生成した攻撃文を選別する判定器の誤り、報酬モデルによる有害・安全な応答の取り違え、無害な質問への誤拒否である。確認できた本文はデータ構成の分析途中で終わるため、後続の分析や著者による追加の制約は判断できない。
出典
元のタイトル・要旨を確認する（英語）
ARES: Adaptive Red-Teaming and End-to-End Repair of Policy-Reward System
Reinforcement Learning from Human Feedback (RLHF) is central to aligning Large Language Models (LLMs), yet it introduces a critical vulnerability: an imperfect Reward Model (RM) can become a single point of failure when it fails to penalize unsafe behaviors. While existing red-teaming approaches primarily target policy-level weaknesses, they overlook what we term systemic weaknesses cases where both the core LLM and the RM fail in tandem. We present ARES, a framework that systematically discovers and mitigates such dual vulnerabilities. ARES employs a ``Safety Mentor'' that dynamically composes semantically coherent adversarial prompts by combining structured component types (topics, personas, tactics, goals) and generates corresponding malicious and safe responses. This dual-targeting approach exposes weaknesses in both the core LLM and the RM simultaneously. Using the vulnerabilities gained, ARES implements a two-stage repair process: first fine-tuning the RM to better detect harmful content, then leveraging the improved RM to optimize the core model. Experiments across multiple adversarial safety benchmarks demonstrate that ARES substantially enhances safety robustness while preserving model capabilities, establishing a new paradigm for comprehensive RLHF safety alignment.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01