アーカイブ / LLM
複数言語の回答を照合し、答えるか控えるかを決めるMKA
MKA
MKAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: MKA Pipeline confusion matrix
概要
- MKAは選択式質問を複数言語で解かせ、回答の近さから答えるか控えるかを決める。
- 多言語MMLUでは、言語ごとの最高値でベンガル語と英語が基準法を上回り、日本語とヨルバ語は下回った。
- 著者は翻訳によるずれと、回答の意味的な近さによる判定への依存を限界として挙げる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MKAの仕組み
- 01質問と選択肢
- 02補助言語へ翻訳
- 03各言語で回答
- 04戻して照合
- 05回答か棄権
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MKAは、言語モデルが質問に答えるか、回答を控えるかを決める方法である。もっともらしい誤答を返す可能性があるため、実務では正答率に加え、不確かなときに回答を控えられるかが問題になる。
著者は、同じモデルでも質問に使う言語によって引き出せる知識が異なり得る点に着目した。一つの言語で得た回答だけを採用せず、複数言語で答えを求め、その一致を判断材料にする。
手法
対象言語の選択式質問と選択肢を複数の補助言語に翻訳し、同じモデルに各言語で答えさせる。例えば日本語の問題を補助言語で解かせ、回答を日本語へ戻す。文字nグラム（連続する数文字の並び）で回答を数値化し、ほかの回答との平均的な近さが最大のものを候補に選ぶ。
次に、文の意味を数値で表す「埋め込み」を使い、候補と残りの回答の近さから確信度を計算する。近さが0.8を超える回答には1.5倍の重みを付ける。確信度がモデルごとに選んだ基準値に達すれば候補を返し、届かなければ回答を控える。
新規性
MKAは、同じ選択式質問を複数言語で解いた回答の近さを、回答を控える判断に使う推論時の手順である。質問と選択肢を翻訳し、得た回答を元の言語に戻して照合する。
回答候補の選択には文字列の近さを、確信度の計算には文の意味の近さを使い分ける。確信度の基準値は、評価対象の各モデルについて、そのモデルの実験結果から選ばれている。
従来手法との違い
基準法では、対象言語の質問と選択肢をそのままモデルに与える。MKAでは補助言語ごとに訳して回答を集め、対象言語に戻した後、一つの回答候補と確信度を求める。
論文の表は、言語ごとに基準法の最高値とMKAの最高値を比較している。最高値を出したモデルは同じとは限らない。ベンガル語では基準法がQwen 2.5 7B、MKAがGemma 2 27Bであり、同一モデル内での改善幅を示す比較ではない。
実験結果
著者は多言語MMLUの選択式問題を、ベンガル語、英語、スワヒリ語、ヨルバ語、日本語、インドネシア語で評価した。各比較の標本数は200。MKAの指標「実効精度」は、正答と適切な棄権の割合に回答率を掛けた値で、基準法の表には棄権しない場合の正答率が示されている。
言語ごとの最高値は、ベンガル語が基準法0.245、MKA 0.4195で、著者の記載では71.2％増。英語は0.620と0.7162で15.5％増だった。一方、日本語は0.515と0.4551、ヨルバ語は0.390と0.2941だった。これらはモデルと補助言語の組み合わせをそろえた比較ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程について、選択肢付きの問い合わせを受ける窓口で試す。規程に基づく質問と選択肢を入力し、選んだ答えまたは回答を控える判定を出力する。回答を控えた案件は担当者に渡す。
準備するのは、現行規程から作った正解ラベル付きの質問と選択肢、利用する補助言語、翻訳後の意味を確認する担当者である。推論手順そのものに追加学習用データやセンサーは要らない。社内用語に合う翻訳かは適用前に確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：現行規程から正解ラベル付きの選択式質問を作り、対象言語だけで答える基準法とMKAを同じ問題で比べる。質問、選択肢、正解ラベルを固定し、補助言語への翻訳と回答の逆翻訳を担当者が点検する。
追加学習用データとセンサーは用意せず、社内用語の翻訳と回答保留後の引き継ぎ手順を調整する。正答率、誤答率、回答率、適切に回答を控えた割合を記録し、確信度の基準値を変えたときに担当者へ回る件数も測る。
限界と課題
著者は、回答と正解の意味的な近さによる自動判定への依存と、翻訳で生じる表現のずれを限界として挙げる。質問時の指示文による結果の変動も報告している。対象言語やモデルによって結果は異なり、ヨルバ語と日本語の最高値は基準法を下回った。
編集上の検証事項は、社内用語を訳して戻した際の意味の維持、回答を控える件数、誤答を担当者に渡せず利用者へ返す件数である。複数言語の回答が一致しても正解とは限らないため、正解ラベルによる確認が必要になる。
出典
元のタイトル・要旨を確認する（英語）
MKA: Leveraging Cross-Lingual Consensus for Model Abstention
Reliability of LLMs is questionable even as they get better at more tasks. A wider adoption of LLMs is contingent on whether they are usably factual. And if they are not, on whether they can properly calibrate their confidence in their responses. This work focuses on utilizing the multilingual knowledge of an LLM to inform its decision to abstain or answer when prompted. We develop a multilingual pipeline to calibrate the model's confidence and let it abstain when uncertain. We run several multilingual models through the pipeline to profile them across different languages. We find that the performance of the pipeline varies by model and language, but that in general they benefit from it. This is evidenced by the accuracy improvement of $71.2\%$ for Bengali over a baseline performance without the pipeline. Even a high-resource language like English sees a $15.5\%$ improvement. These results hint at possible further improvements.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01