アーカイブ / RAG / LLM
短い答えと説明の背景を一緒に探す長文質問応答の検索手法
Silver
Silverの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Answer recall per turn on ConvMix .
概要
- 短い直接回答と長文の模範回答から根拠候補の銀ラベルを選び、検索結果の再順位付けを学習する。
- 著者らのASQA評価では、上位5段落の関連Wikipediaページ再現率がDPRの0.450からSilverの0.516になった。
- 評価は公開データとVicunaを用いた構成に限られ、社内文書への適用時は出典の版と回答の正確性を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Silverの仕組み
- 01質問・回答例・段落
- 02銀ラベル選定
- 03再順位付けを学習
- 04候補段落を並べ替え
- 05長文回答生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
長文質問応答は、質問への短い答えに加え、その理由や関連事項まで説明する。たとえば経歴の開始日だけでなく、所属先や当時の状況を述べるには、それぞれを支える文書が要る。
著者らによると、従来の検索器は直接回答を含む段落を優先し、説明に必要な背景を取り逃しやすい。質問と長文の模範回答があっても、回答中の記述を支える段落の学習用ラベルが不足していることも課題だ。
手法
学習では、質問、長文の模範回答、短い直接回答を使い、初段検索で集めた候補段落から根拠候補を選ぶ。各直接回答を含む段落を少なくとも一つ選び、候補が複数あれば長文回答との語の一致度が高いものを採る。残りも同じ一致度で選び、自動で付けた暫定的な正解を「銀ラベル」とする。
銀ラベルを使って、候補段落の順位を付け直すBERTベースのモデルを学習する。新しい質問では、DPRという初段検索器の候補を並べ替え、上位段落と質問を言語モデルに渡して長文回答を作る。たとえば経歴を尋ねる質問なら、開始日を記す段落と、所属先や初出場の状況を記す段落を集める狙いだ。
新規性
著者らの提案は、短い直接回答と長文の模範回答を併用し、説明の根拠となる段落を学習用に自動選定する点にある。直接回答を含む段落だけでなく、長文回答の内容を支える段落も検索順位に反映させる。
自動選定した段落は、人が正解と確認した段落ではない。この暫定的な正解を使って再順位付け器を学習し、質問への直接回答とその文脈を一度の検索で集める構成を示した。
従来手法との違い
比較の基準は、DPRによる初段検索の結果をそのまま使う方式である。著者らは、その結果をSilverで学習した再順位付け器で並べ替える方式に加え、短い直接回答だけ、または長文回答だけを手掛かりに学習する方式も比べた。
ASQAの上位5段落では、関連Wikipediaページの再現率がDPR単独の0.450に対しSilverは0.516だった。一方、短い直接回答の再現率は0.489と0.491で近く、主な差は背景情報に対応するページの検索に見られる。
実験結果
著者らはASQAで再順位付け器と回答生成モデルを学習し、同じモデルを会話型質問データのConvMixにも適用した。表1の検索評価は上位5段落が対象で、ASQAの関連Wikipediaページ再現率はDPRの0.450からSilverの0.516、回答中の語が検索段落にも現れる割合は0.763から0.858になった。
同じ表のASQA回答評価では、著者らが報告するD-F1が27.7から29.0、複数の回答指標を組み合わせたDRが34.3から35.5になった。ConvMixでは後続質問の直接回答を含む段落の再現率が0.260から0.306になった。語の一致だけでは、個々の記述の事実性は判定できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の製品仕様について、利用開始日と適用条件を一緒に説明する支援を想定する。入力は質問と版を管理した仕様書の段落、出力は検索した段落を根拠として示す回答案とする。
適用には、学習用の過去の質問、模範となる長文回答、日付などの短い直接回答、検索対象文書が必要だ。段落ごとの学習ラベルは手法に沿って自動選定し、社内用語や文書の構成に合わせて候補検索を調整する。音声・画像センサーは使わない想定である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：版を確定した社内文書を段落に分け、学習用に質問、長文の模範回答、短い直接回答をそろえる。これらから銀ラベルを選定し、既存の候補検索だけを使う方式と、再順位付けを加える方式を同じ質問で比較する。
評価用には一部の段落の関連性を人が判定する。上位5段落で直接回答と適用条件を拾えた割合、回答と出典の一致、誤記の件数を測る。社内用語の表記揺れと文書の版に合わせて検索対象と語の分割を調整する。入力は文書と質問で、追加センサーは想定しない。
限界と課題
著者らが明記する制約は、評価が公開データに限られ、実利用環境では検証していないことだ。回答生成には複数サイズのVicunaを用いており、別の言語モデルを使うシステムで検索改善がどう働くかも調べていない。
編集上の検証事項として、検索段落と回答の語が一致していても、記述が事実に合うとは限らない。社内文書では旧版や矛盾する記述を含む場合があるため、出典の版、回答の条件、人による正確性判定を別に確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
Retrieving Contextual Information for Long-Form Question Answering using Weak Supervision
Long-form question answering (LFQA) aims at generating in-depth answers to end-user questions, providing relevant information beyond the direct answer. However, existing retrievers are typically optimized towards information that directly targets the question, missing out on such contextual information. Furthermore, there is a lack of training data for relevant context. To this end, we propose and compare different weak supervision techniques to optimize retrieval for contextual information. Experiments demonstrate improvements on the end-to-end QA performance on ASQA, a dataset for long-form question answering. Importantly, as more contextual information is retrieved, we improve the relevant page recall for LFQA by 14.7% and the groundedness of generated long-form answers by 12.5%. Finally, we show that long-form answers often anticipate likely follow-up questions, via experiments on a conversational QA dataset.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01