アーカイブ / LLM / RAG
多言語の意図分類で、指示と候補のどこを翻訳すべきか
Cross-lingual Prompt Translation Strategies
概要
- 発話の言語を固定し、役割・課題説明、規則、意図候補の翻訳箇所を変えて意図分類を比較した。
- 正解候補を必ず含む評価で、翻訳の効果はモデルと言語によって異なった。
- 導入時は候補検索の漏れと、候補から正確に選んで出力する性能を分けて測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Cross-lingual Prompt Translation Strategiesの仕組み
- 01仏語・ヒンディー語の発話
- 02意図候補の検索
- 03入力部分の言語選択
- 04意図説明を一件出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
多言語の対話システムでは、利用者の発話と、英語の知識ベースから検索した意図候補の説明が異なる言語になる。検索拡張生成（RAG）は、関連情報を検索して言語モデルに渡す仕組みで、この研究では候補検索と最終的な分類を組み合わせる。
候補を含む入力のどこを翻訳するかによって、モデルが選ぶ意図は変わり得る。英語で整備された意図説明を他言語の窓口で使う際、翻訳する部分を決めるための実験である。
手法
まず、発話と意味が近い意図候補を、文章の意味の近さを表す数値を使って検索する。次に言語モデルへ、役割・課題説明、回答方法を定める規則、候補の説明、発話をまとめて渡し、候補を一つ選ばせる。論文の例では、フランス語の「17時に買い物を思い出させて」に対し、「リマインダーを設定したい」などの英語の候補を示す。
著者らは発話の言語を固定し、ほかの三部分を英語のままにする条件と、一部または全部を発話の言語へ翻訳する五条件を比べた。翻訳には言語モデルを使い、一部を人が点検した。検索候補に正解がなければ手作業で加えるため、実験の中心は提示済みの候補から選ぶ段階である。
新規性
著者らは、異なる言語が混在する意図分類の入力について、翻訳する箇所を分けて検証した。利用者の発話は元の言語に固定し、役割・課題説明、作業規則、意図候補の言語だけを変えている。
検索で得た候補から言語モデルが一つを選ぶ段階に対象を絞った点が特徴である。著者らの結果では、有効な組み合わせはモデルと言語によって変わった。
従来手法との違い
基準条件では、フランス語またはヒンディー語の発話に対し、役割・課題説明、作業規則、意図候補は英語で示す。つまり「英語のみ」という条件名でも、発話は元の言語のままである。
比較したのは、候補のみ、説明のみ、規則のみ、説明と規則、三部分すべてを発話の言語にする五条件だ。候補を翻訳した条件では、選んだ候補をその言語で返す。発話を英語に翻訳する条件は評価していない。
実験結果
著者らはフランス語とヒンディー語の発話を各6,000件、意図を80分類として、五つの言語モデルで六条件を評価した。正解の意図は候補に必ず含める。正解率は、回答中に正解の意図説明が原文どおり現れ、ほかのラベルが現れない場合だけを正答として計算している。
Qwen2.5-7B-Instructのヒンディー語では、基準条件の正解率0.405に対し、説明と規則を翻訳すると相対6.7％増だった。一方、Llama-3.1-8Bのフランス語では、基準の0.286に対し、三部分すべての翻訳で相対32.2％減だった。効果の方向まで条件によって異なる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：フランス語の問い合わせ文を、既存の英語の意図説明集にある分類へ振り分ける。入力は問い合わせ文と意図説明、出力は選ばれた意図説明一件とし、候補検索の後に言語モデルで最終選択する。
追加学習用の発話データは前提とせず、評価にはフランス語の発話と正解ラベルを用意する。音声などのセンサーは使わない。役割・課題説明と規則を翻訳し、実際の分類名と回答形式に合わせて文面を調整する案であり、効果は実測で確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：英語の意図説明集と、対象言語の評価用発話・正解ラベルを用意する。モデルの追加学習用データは前提とせず、音声センサーも使わない。役割・課題説明と規則を対象言語へ翻訳し、分類名と出力形式に合うよう確認する。
同じ候補検索とモデルで、英語のままの基準条件と翻訳条件を比較する。正解が検索候補に入る割合、厳密な意図説明の一致による正解率、余計な文章が付く割合を言語別に測る。運用を想定した測定では正解候補を手作業で追加せず、検索漏れも記録する。
限界と課題
著者らは、事業上の理由から元の利用者発話を用いた結果を共有できず、発話とラベルを手作業で匿名化したと述べる。対象はフランス語とヒンディー語の意図分類で、質問応答などへの拡張と言語の追加は今後の課題としている。
編集上の検証事項は、翻訳の品質と、実際の検索で正解候補が漏れる影響である。論文の分類評価では正解候補を必ず含めているため、その正解率を検索から出力までの運用品質と同一視できない。別の分類体系への適用も確認が要る。
出典
元のタイトル・要旨を確認する（英語）
How and Where to Translate? The Impact of Translation Strategies in Cross-lingual LLM Prompting
Despite advances in the multilingual capabilities of Large Language Models (LLMs), their performance varies substantially across different languages and tasks. In multilingual retrieval-augmented generation (RAG)-based systems, knowledge bases (KB) are often shared from high-resource languages (such as English) to low-resource ones, resulting in retrieved information from the KB being in a different language than the rest of the context. In such scenarios, two common practices are pre-translation to create a mono-lingual prompt and cross-lingual prompting for direct inference. However, the impact of these choices remains unclear. In this paper, we systematically evaluate the impact of different prompt translation strategies for classification tasks with RAG-enhanced LLMs in multilingual systems. Experimental results show that an optimized prompting strategy can significantly improve knowledge sharing across languages, therefore improve the performance on the downstream classification task. The findings advocate for a broader utilization of multilingual resource sharing and cross-lingual prompt optimization for non-English languages, especially the low-resource ones.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01