アーカイブ / LLM
多言語モデルの評価で、英語の指示文は何を測るのか
The Roles of English in Evaluating Multilingual Language Models
概要
- 著者らは、評価中の英語を「課題を実行させる接点」と「理解対象の自然言語」に分け、両者の評価目的の違いを論じる。
- 英語の指示と対象言語の本文を混ぜると、英語への指示追従やラベル表記、言語の切り替えが得点の解釈に関わる。
- 本論文は既存の評価形式を検討する立場論文であり、新たな比較実験の得点は示していない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、The Roles of English in Evaluating Multilingual Language Modelsの仕組み
- 01多言語の評価用指示
- 02使用言語を特定
- 03混在要因を整理
- 04得点を解釈
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
多言語モデルの評価では、対象言語の文章に英語の指示を添えることがある。英語以外では、指示に従うようモデルを調整するためのデータが少なく、作成にも費用がかかるためだ。
だが、英語で指示されたニュースを分類できても、対象言語で書かれた指示に従えるとは限らない。業務上の課題を遂行できるかと、対象言語を理解できるかは別の評価目的である。得点を導入判断に使う際には、その違いが重要になる。
手法
著者らは既存の評価例を読み、英語が課題を伝える接点なのか、理解すべき自然言語なのかを整理する。例として、トルコ語のニュース文を英語の「このニュースの話題は」という定型文に入れ、話題を答えさせる形式を示す。ここで英語はニュース本文の言語ではなく、モデルへの指示を担う。
次に、指示、設問、選択肢、答えのラベルが何語で書かれているかを見る。英語と対象言語を混ぜた指示を「混合プロンプト」と呼び、英語への指示追従や文字体系の切り替えも試されうると論じる。プロンプトとは、モデルに渡す指示や例を含む入力文のこと。得られるのは新しい分類器ではなく、評価の得点が何を含むかを考えるための整理である。
新規性
著者らは、評価に使う英語の役割を、課題を実行させるための「接点」と、理解能力を測る対象となる「自然言語」に分ける。前者で得た課題の得点を、そのまま対象言語の理解の証拠とみなすことに異議を唱える。
英語の指示と対象言語の本文を混ぜる方式では、ラベルの表記や言語・文字体系の切り替えも結果に関わりうると整理した。新しいモデルや評価指標の提案ではなく、評価目的と得点の解釈を問い直す立場論文である。
従来手法との違い
著者らが比べる評価の形は、指示も本文も対象言語で書くものと、英語の指示に対象言語の本文を入れるものである。後者は課題の成績を高める目的で使われるが、英語の指示を理解する力も試される。
ニュース分類では、分類用の層が言語に依存しないラベル番号を予測する方式も対照例に挙げる。生成型モデルへの指示では、答えのラベルを英語の単語、対象言語の単語、番号のどれで示すかによって入力が変わる。これらは論点を示す比較であり、本論文による得点比較ではない。
実験結果
著者らは、MaLa-500によるSIB-200のニュース話題分類を例に挙げる。SIB-200は205言語の文と話題の組からなり、示された形式では英語の定型文に対象言語の文を入れる。各言語で1～10例を示す設定で使われたという記述であり、本論文が新たに測った成績ではない。
別の例では、AfriMMLUの英語の指示と対象言語の設問・選択肢、翻訳課題の英語の指示と独語・蘭語の文を検討する。AfriMMLUの指示文には英語の文法上の誤りもあると指摘する。確認できた本文の範囲では、本論文による新たな比較実験のデータ分割、評価指標、得点は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：多言語ニュースを話題別に仕分ける社内業務で、同じ記事を対象言語の指示と英語の指示の両方で分類する。入力は記事本文、出力は定めた話題ラベルとし、言語別に誤分類を確認する。
追加学習をしない試行なら、新たな学習データは不要で、センサーも使わない。必要なのは各言語の評価用記事と人手で付けた正解ラベルである。対象言語で自然な指示文を作り、ラベルの意味と表記をそろえる作業が要る。この用途で成績が改善するという主張ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず一つのニュース分類業務を選び、対象言語ごとに正解の話題ラベルを付けた記事を用意する。同じ記事とモデルで、対象言語の指示を基準条件、英語の指示を比較条件として使い、言語別の正解率と誤分類を記録する。
追加学習をしないため、新たな学習データとセンサーは不要で、評価用の記事と正解ラベルが必要となる。指示を対象言語で自然に書き、ラベルの意味・表記と提示例の数を条件間でそろえる。得点差に加え、実際の利用者がその指示を書けるかも確認する。
限界と課題
著者らは、英語と対象言語を混ぜた指示では、英語の指示への追従や言語・文字体系の切り替えなどが得点に含まれると指摘する。対象言語で自然な指示を作るには費用がかかり、英語の指示が必須のシステムでは利用者にも英語の知識を求めうる。
編集上の検証事項は、訳した指示とラベルが同じ分類基準を保つか、言語間で記事の難しさが偏らないかである。この議論から、特定のモデルで英語と対象言語の指示に何点の差が出るかは分からない。
出典
元のタイトル・要旨を確認する（英語）
The Roles of English in Evaluating Multilingual Language Models
Multilingual natural language processing is getting increased attention, with numerous models, benchmarks, and methods being released for many languages. English is often used in multilingual evaluation to prompt language models (LMs), mainly to overcome the lack of instruction tuning data in other languages. In this position paper, we lay out two roles of English in multilingual LM evaluations: as an interface and as a natural language. We argue that these roles have different goals: task performance versus language understanding. This discrepancy is highlighted with examples from datasets and evaluation setups. Numerous works explicitly use English as an interface to boost task performance. We recommend to move away from this imprecise method and instead focus on furthering language understanding.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01