アーカイブ / LLM
多言語の選択問題で答えがずれる仕組みと、内部状態を英語方向へ動かす実験
Cross-lingual Activation Steering
Cross-lingual Activation Steeringの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(b) PCA projections on activations in Qwen 2.5 32B.
概要
- 著者らは、多言語の選択問題で回答が食い違う現象を、中間層の表現と回答候補の確率から分析した。
- 対訳問題から英語方向の調整ベクトルを作り、推論中の隠れ状態に加える方法を検証した。
- 小さいモデルの選択問題では改善を報告したが、言語別ベクトルが必要で、自由記述などへの効果は示されていない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Cross-lingual Activation Steeringの仕組み
- 01英語と対象言語の対訳問題
- 02最終語の状態差を平均
- 03推論中の状態に加算
- 04回答候補を選択
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
同じ選択問題を異なる言語で尋ねると、言語モデルの回答が変わることがある。多言語で同じ知識を使う業務では、一方の言語だけで正しく答える問題を、平均正答率だけでは見落としかねない。
本研究は、回答を出すまでにモデル内部で作られる数値表現に着目する。言語間で近い表現を使う場合と各言語に寄った表現を使う場合で、回答の一致や正答の共有がどう違うかを調べた。
手法
著者らは、同じ内容の選択問題を英語と対象言語で入力し、質問の最後のトークンに対応する各層の隠れ状態を取り出す。トークンは文を処理する単位、隠れ状態はモデル内部の数値表現である。英語側から対象言語側を引いた差を複数の対訳問題で平均し、英語方向の調整ベクトルを作る。
推論時には、このベクトルに強さを表す係数を掛け、対象言語の質問を処理した同じ位置の隠れ状態に加える。例えば日本語の問いなら、日本語と英語の対訳から作った方向を加え、回答候補の選択を調べる。別の分析では「ロジットレンズ」という、中間層の状態から回答候補の確率を推定する方法を用い、候補を対象言語と英語の文章で比べた。
新規性
著者らは、対訳の選択問題について、中間層の数値表現が英語の回答候補と対象言語の回答候補のどちらに近いかを調べ、言語間の回答の一致や知識の共有との関係を分析した。
さらに、対訳から求めた方向を推論中の内部状態に加え、回答がどう変わるかを検証した。表現と成績の相関を調べるだけでなく、表現を動かす実験を行った点が特徴である。
従来手法との違い
基準は、同じモデルに調整ベクトルを加えずに回答させた場合である。著者らは英語方向への加算と、その逆方向への加算を試し、正答率、英語との回答順位の一致、英語で正答した問題が対象言語でも正答になる割合を比べた。
英語方向への調整では小さいモデルに改善が見られ、逆方向では回答が分かれやすくなり、成績が下がったと報告する。大きいモデルでは調整の効果が弱い。比較結果は実験したモデルと選択問題の範囲で読む必要がある。
実験結果
著者らはGemma 2の2B・9B・27B、Qwen 2.5の3B・7B・32Bを、読解のBelebele、知識問題のmMMLU、常識推論のmHellaSwagで評価した。追加の例を示さない形式で問い、正答率、選択肢順位の言語間相関、正答や同じ誤答が言語間で共有される割合を測った。
無調整時のBelebeleでは、著者らはGemma 2の2Bで言語平均正答率47.1±13.8％、9Bで72.4±18.4％、順位相関はそれぞれ0.381、0.427と報告する。調整ベクトルは各データセットの対訳50問から作り、別の問題で評価した。Gemma 2Bの第6・10層では、係数2～3付近で正答率が最大になったと報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程について、日本語と英語で同じ内容を尋ねる選択式の問い合わせに使う。入力は意味をそろえた質問と回答候補、出力は選んだ候補と両言語の回答順位の一致状況とする。部署の担当者が不一致の問いを確認する流れを想定する。
必要な元データは対訳の社内質問と正答ラベルで、追加センサーは不要である。対象モデルの内部状態を取得・変更できる場合に、社内の問いから言語別ベクトルを作る。社内規程でも効果が出るかは未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：日本語と英語で意味をそろえた社内の選択問題を集め、各問に正答ラベルを付ける。ベクトル作成用、係数決定用、最終評価用に問題を分け、対象言語ごとにベクトルを作る。追加センサーは不要だが、対象モデルの内部状態を取得・変更する手段が必要である。
最終評価用の同じ問題を無調整と調整後に解かせる。言語別の正答率、選択肢順位の一致、英語で正答した問題が日本語でも正答になる割合を比べる。同じ誤答の増加も確認し、係数は最終評価用の結果を見て選ばない。
限界と課題
著者らが明記した限界は、調整法の検証が選択問題に限られ、言語ごとに専用のベクトル抽出を要する点である。また、英語中心の方法を推論課題以外に広げると、文化や言語に関する偏りを強めるおそれがあると注意している。
編集上の検証事項は、社内用語を含む対訳で意味がそろうか、正答の共有と同じ誤答の共有を区別できるかである。大きいモデルや自由記述への効果は、この実験からは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Language-Specific Latent Process Hinders Cross-Lingual Performance
Large language models (LLMs) are demonstrably capable of cross-lingual transfer, but can produce inconsistent output when prompted with the same queries written in different languages. To understand how language models are able to generalize knowledge from one language to the others, we measure representation similarity between languages, and apply the logit lens to interpret the implicit steps taken by LLMs to solve multilingual multi-choice reasoning questions. Our analyses reveal LLMs predict inconsistently and are less accurate because they rely on representations that are dissimilar across languages, rather than working in a shared semantic space. While larger models are more multilingual, we show their hidden states are more likely to dissociate from the shared representation compared to smaller models, but are nevertheless more capable of retrieving knowledge embedded across different languages. Finally, we demonstrate that knowledge sharing in small models can be facilitated by steering their latent processing towards the shared semantic space. This improves the models' multilingual reasoning performance, as a result of more knowledge transfer from, and better output consistency with English.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01