アーカイブ / LLM
多言語の質問句はLLMの文書関連度判定をどう変えるか
Multilingual Query-Based Injection
概要
- 著者らはTREC-DL 2022の候補文書に8言語で語句や命令を挿入し、LLMによる関連度判定への影響を調べた。
- PromptArmor適用後も、質問の言い換えや無関係な攪乱文による偽陽性が報告された。
- 非挿入時の誤判定率は表1と本文で食い違い、基準値との差の解釈には確認が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Multilingual Query-Based Injectionの仕組み
- 01検索質問と候補文書
- 02多言語の文を挿入
- 03防御で内容を検査
- 04LLMが関連度判定
- 05関連ラベル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
検索評価では、質問に対して候補文書が役立つかを判定する。大規模言語モデル（LLM）にこの作業を任せる場合、候補文書の内容そのものが採点を不当に動かすと、検索方式の比較や改善の判断がゆがむ。
特に、質問の語句を別の言語で文書に混ぜる操作は、判定者への明白な命令とは見えにくい。著者らは、こうした多言語の挿入が関連度判定に与える影響を調べた。
手法
著者らはTREC Deep Learningの検索質問と候補文書を使い、質問句、判定者向けの命令文、質問の言い換え、無関係な攪乱文を候補文書に挿入した。たとえば質問句を別言語で加え、挿入前後の判定を比べる。攪乱文は自然な本文に見える文章で、著者らは質問との無関係性を手作業で確認した。
判定にはGPT-OSS-20BとQwen3-32Bを用い、UMBRELAとCriteria-Basedという判定用の質問形式を試した。防御実験ではPromptArmorで挿入内容の除去を試みてから判定する。出力を人手の関連ラベルと照合し、無関係な文書を関連ありとする偽陽性と、その逆の偽陰性を測った。
新規性
著者らは、検索質問に由来する語句を別の言語で候補文書に挿入し、LLMの関連度判定と防御処理への影響を調べた。判定者への命令を紛れ込ませる攻撃に加え、通常の本文に見える語句や文章を検証対象にした。
さらに、元の質問句を検出するよう防御を変更した後、質問の言い換えで検出を回避できる場合を予備的に報告した。防御側の変更に攻撃側が適応する過程まで扱っている。
従来手法との違い
基準は、文を挿入していない候補文書への判定である。著者らは、質問句の挿入と判定者向けの命令文の挿入を比較し、言語とモデルによる違いを調べた。言い換えや攪乱文についても、防御を通した条件の結果を示している。
防御には、挿入内容を検出・除去するPromptArmorを使った。著者らによれば、命令文は比較的除去しやすいが、質問に似た語句は検出されにくい。ただし防御後の表には非挿入時の基準値がなく、各攻撃と基準の差は同表だけでは計算できない。
実験結果
著者らはTREC-DL 2022で、8言語の挿入を2モデルで評価した。表1の質問句挿入では、英語条件の偽陽性率はGPT-OSS-20Bで27％、Qwen3-32Bで38％。同表の非挿入時はそれぞれ22％、26％である。表2では、PromptArmor適用後、Qwen3-32Bに英語の攪乱文を入れた条件の偽陽性率が35％だった。
ただし非挿入時について、本文はGPT-OSS-20Bを偽陽性19％・偽陰性5％、Qwen3-32Bを23％・3％と記し、表1の22％・3％、26％・3％と食い違う。確認できた本文の範囲では差の理由が示されず、基準値との差を解釈する際には留保が要る。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内文書検索の評価で、候補文書に含まれる多言語の質問語句がLLMの採点を動かすか監査する。入力には、実際の検索質問、候補文書、人手による関連・無関係のラベルが必要になる。
対象言語を読める担当者が訳語を確認し、無関係な文書の写しに質問句や言い換えを加える。元文書と写しの判定を比べ、出力は文書ごとの判定差と誤って関連ありとされた件数とする。業務文書で同じ影響が出るかは検証対象である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内検索から実際の質問と候補文書を少数選び、担当者が関連・無関係のラベルを付ける。対象言語を読める人が訳語を確認し、無関係な文書の写しに質問句や言い換えを加える。元文書は比較用に残す。
元文書と写しを同じ手順で採点し、人手ラベルに対する偽陽性率、偽陰性率、文書ごとの判定変化を測る。防御を試す場合は除去後の本文も保存し、正当な記述が消えていないか人手で点検する。業務分野に合う文書選定とラベル付けが必要である。
限界と課題
著者らは、PromptArmorが明確な攻撃を含まない文書でも正当な内容を除去・変更しうると報告する。言い換えによる回避は予備的な結果とされ、誤った関連度判定が後段の検索拡張生成に与える影響は今後の課題である。
編集上の検証事項として、各言語の訳語や攪乱文が人にも無関係と判断されるか、業務文書の長さや分野で結果が変わるかを確かめたい。非挿入時の誤判定率は表1と本文で一致せず、集計条件の確認も必要である。
出典
元のタイトル・要旨を確認する（英語）
The Effect of Multi-Lingual and Keyword Adversarial Injection on LLM Relevance Judgment
Large language models (LLMs) are increasingly being used as automated judges for relevance evaluation in information retrieval, yet their robustness to adversarial manipulation remains insufficiently understood, particularly in multilingual settings. In this work, we investigate the impact of cross-lingual prompt injection attacks on LLM-based relevance judgments using TREC Deep Learning collections and two open-weight models under established prompting frameworks. We examine both instruction-based and content-based injection strategies in 8 languages spanning different resource levels. Our results demonstrate that multilingual query-based injections are highly effective in inflating relevance scores while simultaneously evading existing prompt-injection defenses. We further found that, although existing defense mechanisms can be modified to mitigate such attacks, these injections can be easily adapted to bypass them. These findings highlight a critical gap in current defense approaches and demonstrate that language generalization can act as an attack vector, underscoring the need for more robust and proactive evaluation frameworks for LLM-as-a-judge systems.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01