アーカイブ / Audio / RAG
音声質問の固有名詞が崩れると、複数文書をたどるRAGに何が起きるか
Better Retrieval, Worse Robustness
概要
- 3つの複数文書質問応答データセットで、4種類の英語訛りの合成音声と4つのRAG方式を比較した。
- ナイジェリア訛り条件では、正しい質問文からのF1低下が、単純な検索よりIRCoTとHippoRAG2の組み合わせで3データセットすべて大きかった。
- 2WikiMultiHopQAの精度低下事例では、著者の自動分類によると87～96％に質問中の固有名詞の破損が含まれた。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Better Retrieval, Worse Robustnessの仕組み
- 01元の英語質問文
- 024種の音声に合成
- 03ASR後に方式別検索
- 04生成した回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
音声で文書に質問する仕組みでは、まず自動音声認識（ASR）が発話を文字にする。人名や作品名を聞き間違えると、文書を探す手掛かり自体が変わる。複数の文書にまたがる質問では、最初に見つけた情報が次の検索にも影響する。
検索拡張生成（RAG）は、外部文書を検索し、その内容を使って回答を作る方式だ。この研究は、文書を結ぶ仕組みや検索の繰り返しが、ASRの誤りを受けた回答にどう影響するかを調べる。
手法
著者は各質問文を米国、インド、フィリピン、ナイジェリアの訛りを持つ合成音声にし、Whisper-large-v3で文字に戻した。元の正しい質問文をそのまま検索に渡す条件も置き、音声認識を通した場合との差を測る。たとえば作品名が別の語に変われば、その後に探す文書も変わり得る。
文字起こしは4方式のいずれかに渡し、同じ回答生成モデルで処理した。単純な文書検索のほか、固有名詞や事実のつながりを表すグラフで探すHippoRAG2、途中の情報から検索語を作り直すIRCoT、両者の組み合わせを試す。グラフは関連する文書へ進む手掛かりであり、IRCoTでは見つけた情報を次の検索に使う。
新規性
著者は、音声認識の誤りが複数文書の検索と回答に伝わる過程を、文書を一度探す方式、固有名詞を手掛かりに文書を結ぶ方式、検索を繰り返す方式、その組み合わせで比較した。
特徴は、音声入力時の回答F1と、元の正しい質問文からのF1低下を分けて示した点にある。さらに質問中の固有名詞の破損を分類し、文字起こしを補う二つの手法も試している。
従来手法との違い
基準のNaive RAGは、質問に近い文書片を一度検索して回答に使う。HippoRAG2は文書から固有名詞と事実を取り出してつながりを作り、IRCoTは途中の情報を使って次の検索語を作る。著者は両方式を単独でも組み合わせても評価した。
最も単語誤り率が高いナイジェリア訛り条件では、正しい質問文からのF1低下は、組み合わせ方式が3データセットすべてで最大だった。一方、音声入力時のF1まで常に最低だったわけではない。
実験結果
著者はHotpotQA、2WikiMultiHopQA、MuSiQueの各検証集合から1,000問を選び、4種類の合成英語音声と4方式を評価した。回答は正解と共通する語から求めるF1で比べた。単語誤り率（WER）は、元の質問文に対する文字起こしの誤りを表す。
HotpotQAのナイジェリア訛り条件はWERが14.5％で、正しい質問文と音声入力のF1差はNaive RAGで0.104、IRCoTとHippoRAG2の組み合わせで0.142だった。2WikiMultiHopQAでは同じ差が0.137と0.195。著者の規則に基づく分類では、同データセットの精度低下事例の87～96％に質問中の固有名詞の破損が含まれた。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社員が音声で尋ねた制度の適用条件を、複数の社内規程から探す窓口を想定する。入力は質問音声と検索対象の規程文書、出力は回答と参照した文書である。文字起こしから検索し、制度名が変わったときの回答を確認する。
評価用に、利用予定者の質問音声と正しい書き起こし、制度名などの固有名詞ラベル、正解回答、参照文書を集める。収音にはマイクが要る。追加学習を前提とせず、社内で使う名称と文書の表記を照合する手順を整える。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：二つ以上の規程を照合する質問を選び、利用予定者の音声をマイクで収録する。正しい書き起こし、固有名詞ラベル、正解回答、検索対象文書をそろえ、制度名と文書内の表記を照合しておく。追加学習用データは前提としない。
同じ質問を正しい文章とASRの文字起こしで流す。一度だけ検索する方式を基準に、複数文書をたどる方式の回答F1と、その入力間の差を測る。名称を誤認識した質問を別に集計し、検索された文書と回答がどう変わったかも確認する。
限界と課題
著者の評価は主に、4種類の英語訛りで合成した音声質問に基づく。実際のナイジェリア訛りの発話500件は音声認識の誤り方を確かめるために使われ、複数文書の質問応答評価には使われていない。確認できた本文の範囲では、この500件の結果詳細は示されていない。
編集上の検証事項：実際の話者、収録環境、日本語の質問、社内文書でも同じ傾向になるか。固有名詞の破損は規則による自動分類なので、抽出例を人手で確かめ、分類漏れや誤分類を見積もる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Better Retrieval, Worse Robustness: How Multi-hop RAG Amplifies Upstream ASR Errors
Speech-based applications pass spoken queries through automatic speech recognition (ASR) before any retrieval module, so ASR errors enter the pipeline as a fixed upstream constraint. We empirically test whether two extensions to standard retrieval-augmented generation (RAG), entity-graph linking and iterative reformulation, absorb or amplify these errors. Using four English accents synthesized through neural TTS, we evaluate four RAG configurations on three multi-hop QA benchmarks (HotpotQA, 2WikiMultiHopQA and MuSiQue) against a clean-text oracle. Although the structurally richer configurations generally retain higher absolute F1 under ASR input, both extensions amplify the error: the F1 gap from clean text to the highest-WER accent is 36-67% larger under their combination than under naive dense retrieval, on all three benchmarks. The dominant failure mode is corruption of one or more query entities, accounting for 87-96% of degradation cases on 2WikiMultiHopQA across all four methods. Two lightweight surface-form mitigations leave most of the gap intact, indicating that downstream retrieval structure amplifies remaining entity errors. We release code and data at https://github.com/Continuum-AI-Corp/spoken-multihop-rag .
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01