表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

ユーザーの意図を保つ検索語と拡張検索を別に作成、検索成績の向上は会話満足度と一致せず

Faithful Query Resolution

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Faithful Query Resolutionの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1. System architecture. Sim.API provides an utterance, history, and PTKB. The behavior detector adapts the agentic decider, which requests retrieval and produces a grounded response. Query generation combines the faithful resolver, the 3B GRPO rewriter M1, and the raw utterance. “w2” doubles the faithful query’s contribution for passages at the same rank. In implementation, weighted RRF aggregates the BM25 and SPLADE lists for each query in one sum; the two fusion boxes depict the query and retriever dimensions of that operation. The grounded response generator is part of the decider. The integral-shaped symbol denotes query combination, and [doc:id] denotes an inline passage citation. Architecture connecting simulated users, PTKB memory, query generation, a behavior detector, an agentic decider, hybrid retrieval, and grounded responses.

出典:Faithful Query Resolution / arXiv ↗

概要

  • 指示語だけを解決する検索語を作り、学習済みの書換えと元の発話も別に検索する。
  • 順位統合では忠実な検索語を二倍重み付けし、意図と網羅性の両立を図る。
  • iKAT SCAI 2026で検索成績は改善したが、会話の満足度が最高になる構成とは異なった。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Faithful Query Resolutionの仕組み

左から右へ読む
  1. 01発話と会話履歴
  2. 02忠実語と拡張語を生成
  3. 03二方式で検索
  4. 04重み付き順位統合
  5. 05根拠付き回答

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

会話中の「あの製品」などを検索できる文へ直すとき、履歴を加え過ぎると本人が求めていない条件まで検索語に入る。意図に忠実な検索は重要だが、狭い表現一つだけでは関連する文書を見落とすこともある。

本研究は、発話の意味を明確にする処理と候補を広げる処理を分ける。検索で良い文書が見つかるかに加え、その文書を使った会話が利用者にとって役立つかも別に評価し、検索指標だけでシステムを選ばない。

手法

忠実な解決器は現在の発話、履歴、利用者の記録を受け取り、代名詞や省略だけを補う。解釈できる発話は変えない。別に三十億パラメータの学習済み書換え器で検索語を作り、元の発話も加えて重複を除く。例えば「先に挙げたもの」は対象名へ置換するが、本人が示していない用途まで忠実語に足さない。

各検索語をBM25とSPLADEへ渡す。前者は語の一致、後者は学習した疎な語表現で文書を探す。順位の逆数に基づく統合で忠実語の寄与を二倍にし、他の表現が候補を広げる余地も残す。統合後にニューラルな再順位付けは行わず、会話の制御器が文書を使って回答する。

新規性

単一の書換え文へ意図と拡張を押し込まず、検索語の役割を分離する。忠実語を優先しながら、複数の拡張語に支持された文書が上位に来ることも許す設計である。

また、検索品質と会話品質の関係を同一視しない。正解文書の順位が良い構成が、質問の確認や回答の進め方を含む対話でも最善かを、別の評価として確かめている。

従来手法との違い

忠実語のみ、学習した書換え、元発話を含む五つの検索語生成設定を比較する。オフラインでは同じ検索器を用い、忠実語だけの高い順位品質と、追加語で広がる候補集合の差を検査した。

重み付き構成は検索語の集合と重みの両方が変わるため、改善を二倍重みだけの効果とは断定できない。著者も、語集合を固定して重みだけを変える比較が必要だと述べている。

実験結果

iKAT-2023の文書関連性ラベルを用いるオフライン評価では、複数表現を加えると正解の網羅性が戻る一方、nDCG@10は忠実語のみから少し低下した。nDCGは関連性の高い文書が上位に出る度合いを測る。

iKAT SCAI 2026の五提出構成では重み付き版の平均nDCG@5が0.534で、最も強い別構成より相対5.3%高かった。ただし会話満足度の最高値は別構成だった。対話評価は模擬利用者とLLMによる評価であり、人間の選好を直接測ったものではない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:社内の問い合わせ検索で、会話履歴から製品名などの指示対象だけを補った検索語を保存する。その語を主経路にし、言い換えや元発話の結果を補助として統合して、候補文書を担当者へ提示する。

回答の根拠と併せて、どの検索語から候補が来たかを記録する。検索範囲を広げた際に本人の条件が変わっていないかを点検できるようにし、重要な条件の追加は確認を伴う運用にする。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:指示語や省略を含む短い業務会話を用意し、人が意図と正解文書を注釈する。忠実語のみ、複数語の等重み、忠実語の二倍重みを同じ検索器と候補数で比較する。

意図を勝手に追加した割合、正解の候補内率、上位順位を測る。回答も別に作り、根拠の対応、不要な確認、利用者の満足を評価する。重みの効果と語数を増やした効果が分かれるよう条件をそろえる。

限界と課題

著者は解決器の忠実さを独立した人手注釈で測っていない。提出構成には会話制御や頑健性の変更も含まれ、満足度の差を検索語だけへ帰属できない。引用IDの整合も、文書が主張を支えることの証明ではない。

編集上の確認点は、履歴の取り違え、利用者記録の選別、再検索時に新しい要求が反映されるかである。検索の得点改善が回答の正確さへつながるかを、根拠単位で検証したい。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Faithful Query Resolution for Conversational Search

Conversational query rewriting makes context-dependent requests explicit for retrieval, but additional context can introduce an information need the user did not express. This raises a question about the interaction between query fidelity and retrieval breadth. This paper examines that interaction in behavior-adaptive conversational search, using iKAT SCAI 2026 as the evaluation setting. We compare five query-generation configurations within a behavior-adaptive assistant using BM25 and SPLADE retrieval. A minimal-faithful resolver preserves the user's wording and resolves only context-dependent references; weighted reciprocal rank fusion combines its rankings with those from a learned rewriter and the raw utterance. Offline evaluation shows that adding these formulations recovers recall over the faithful query alone, with a slight reduction in nDCG@10. Across our five iKAT SCAI 2026 submissions, the weighted configuration obtains the highest mean retrieval scores, reaching nDCG@5 of 0.534, a 5.3\% relative improvement over the strongest alternative. However, this retrieval advantage does not coincide with the highest conversational satisfaction scores. These findings motivate separating faithful query interpretation from retrieval expansion, while assessing their effects on conversational utility independently.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-14