アーカイブ / LLM
英語などで学んだ安全判断を、回答の「報酬差」で他言語へ移すMPO
MPO
MPOの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Top: Current preference learning methods optimize noisy multilingual preference data. Bottom: Our MPO directly minimizes the discrepancy of reward gap across different languages.
概要
- MPOは、元モデルが優勢言語の各事例で示す安全な回答と危険な回答の報酬差を目標に、対象言語を調整する。
- 著者らのMultiJail評価では、LLaMA-3.1の言語平均ASRはMPOで5.98、DPOで14.65だった。
- 一般用途の指標には低下した項目もあるため、導入時は安全性と通常質問への回答を言語別に測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MPOの仕組み
- 01対訳の質問・回答組
- 02言語別の報酬差
- 03優勢言語との差を調整
- 04内部表現を維持
- 05調整済みモデル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
多言語で使う大規模言語モデルでは、同じ種類の危険な依頼でも、言語によって応答が変わり得る。英語では拒否できても別の言語で危険な回答を返すなら、同じサービスの利用者間で安全性に差が生じる。
言語ごとに安全な回答と危険な回答の組を十分に集めるのは難しい。翻訳で補ったデータにも意味のずれや不自然な表現が入り得るため、著者らは英語などの優勢言語で元モデルが示す安全判断を、他言語の学習目標に使った。
手法
MPOの学習入力は、質問と、それに対する安全な回答・危険な回答を、優勢言語と対象言語で対応させた組である。各回答の出やすさを文章の長さで補正し、安全な回答から危険な回答の値を引いたものを「報酬差」と呼ぶ。例えば英語とスワヒリ語で対応する組を使い、安全な回答をどれほど強く選ぶかを比べる。
対象言語の報酬差を、元モデルが優勢言語で示す事例ごとの報酬差に近づける。同時に、優勢言語の入力を処理した際の「内部表現」、つまりモデル内で計算された情報の状態を元モデルに近く保つ。学習の出力は調整済みの言語モデルで、利用時には入力された言語の質問に回答する。
新規性
MPOは、優勢言語で安全な回答と危険な回答を見分ける度合いを、対象言語の学習目標にする。目標値には元モデルが優勢言語の各事例で示す報酬差を使い、言語間の隔たりを直接小さくする。
さらに、優勢言語を処理するときのモデル内部の状態を元モデルに近づける制約を加える。対象言語の安全性を調整しながら、優勢言語での能力を保つための設計である。
従来手法との違い
著者らは、回答例で追加学習するSFTと、好ましい回答を選ぶよう学習するDPOなどの選好最適化法を比較対象とした。各手法の学習には、英語と六つの対象言語による同じ計700組の選好データを使っている。
MPOは、元モデルの優勢言語における事例ごとの報酬差を目標にする。著者らが目標を固定値に置き換えた実験では、値を大きくすると安全性が高まる一方、一般用途の性能が大きく下がったと報告している。
実験結果
著者らはLLaMA-3.1-8B-Instruct、Gemma-2-9B-it、Qwen2.5-7B-Instructを対象に、PKU-SafeRLHFから抽出した100件を六つの対象言語へ翻訳し、英語を含む計700組で学習した。MultiJail、AdvBench-X、CSRTで攻撃成功率（ASR、低いほど良い）を評価した。
掲載表のMultiJail言語平均ASRは、LLaMA-3.1でMPOが5.98、DPOが14.65、Gemma-2でMPOが6.77、DPOが10.64だった。一方、LLaMA-3.1の対象言語平均M-MMLUは45.35から44.67に下がり、MT-Benchは4.81から4.92に上がった。Qwen2.5の詳細数値と付録の評価条件は、確認できた本文の範囲では確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内文書を参照する多言語の問い合わせ窓口で、英語では適切に拒否する危険な依頼を対象言語でも扱えるか試す。入力は各言語の質問、出力は回答または内容に即した拒否文とする。
学習には、英語と対象言語で意味が対応する質問、安全な回答と危険な回答のラベル付き組が要る。翻訳とラベルを人が点検してMPOを適用し、窓口に近い未使用の質問で評価する。入力は文章で、センサーは不要。この用途での改善は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象言語を一つ選び、英語と対象言語で対応する質問、安全な回答・危険な回答のラベル付き組を用意する。翻訳の意味とラベルを点検し、同じ組でMPOと比較用のDPOを学習させる。必要な入力は文章とラベルで、センサーは使わない。
学習に使っていない危険な依頼と通常の業務質問を両言語で集める。危険な依頼への攻撃成功率と、通常質問に適切に答えた割合を言語別に測り、元モデルとDPOを基準に比較する。英語側の結果も記録し、安全性と通常業務への回答を併せて確かめる。
限界と課題
著者らは、翻訳による多言語の学習データに不自然な表現や内容の誤りが入り得ると説明する。また、データ量を増やした実験では、MPOを含む各手法で改善幅が次第に小さくなったと報告している。
編集上の検証事項は、業務固有の言い回しでも効果が出るか、拒否すべきでない質問に答えられるかである。著者らは一般用途の性能を保てたと総括するが、掲載された評価表には低下した項目もあり、用途ごとに確認が必要となる。
出典
元のタイトル・要旨を確認する（英語）
MPO: Multilingual Safety Alignment via Reward Gap Optimization
Large language models (LLMs) have become increasingly central to AI applications worldwide, necessitating robust multilingual safety alignment to ensure secure deployment across diverse linguistic contexts. Existing preference learning methods for safety alignment, such as RLHF and DPO, are primarily monolingual and struggle with noisy multilingual data. To address these limitations, we introduce Multilingual reward gaP Optimization (MPO), a novel approach that leverages the well-aligned safety capabilities of the dominant language (English) to improve safety alignment across multiple languages. MPO directly minimizes the reward gap difference between the dominant language and target languages, effectively transferring safety capabilities while preserving the original strengths of the dominant language. Extensive experiments on three LLMs, LLaMA-3.1, Gemma-2 and Qwen2.5, validate MPO's efficacy in multilingual safety alignment without degrading general multilingual utility.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01