アーカイブ / LLM / RAG
会話検索で利用者情報を加えすぎないための検索結果統合
RALI_gpt4o_fusion_rerank
概要
- 会話の省略を補った文、生成した回答を加えた文、利用者情報を反映した文で検索し、BM25の結果を重み付きで統合する。
- iKAT 2024の文書順位付けでは、統合後にmonoT5で並べ直した実行のNDCG@10は47.7、再順位付けなしは35.6だった。
- 著者らは関連文書の判定漏れが比較に影響しうると指摘しており、回答生成の評価値は本文時点で示されていない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RALI_gpt4o_fusion_rerankの仕組み
- 01会話・利用者情報
- 02三種の検索文
- 03BM25検索・結果統合
- 04monoT5再順位付け
- 05GPT-4o回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
会話検索では「それはどうですか」のような質問を、前の発話を踏まえて単独でも意味が通じる検索文に直す。利用者の好みや事情も加えると意図を詳しく表せるが、元の質問との関係が弱い語によって無関係な文書が上位に来るおそれがある。
著者らはこれを「個人化しすぎ」と呼ぶ。トルコ土産の相談に母親の骨董品収集という情報を加えると、土産に触れず骨董品だけを扱う文書まで見つかりうる、という例を挙げている。
手法
各発話についてGPT-4oが三種の検索文を作る。会話中の省略を補った文、その文にGPT-4oが生成した回答文をつないだ文、利用者情報も反映した文である。論文中のPTKBは利用者について記録された情報を指す。土産の例なら、「トルコ土産」という主題を表す文と、母親の収集品にも触れる文を別々に検索する。
各検索文から、語の一致に基づくBM25で上位1000文書を取得する。同じ文書の点数を検索文の種類ごとの固定重みで足し、ある一覧にない文書にはその一覧の1000位の点数を使う。統合後の上位50件をmonoT5で並べ直す際には、利用者情報を反映した検索文を使う。さらに上位3件、会話、利用者情報をGPT-4oへ渡し、回答を生成する。
新規性
著者らの提案は、利用者情報を一つの検索文にまとめて盛り込む代わりに、個人化の度合いが異なる三種の検索文を作り、同じ文書集合から得た順位表を点数で統合することにある。会話から読み取れる主題と利用者情報の両方を検索に使える。
検索文の種類ごとに重みを固定し、iKAT-23のテスト集合で調整した。新たな検索器を作る手法ではなく、検索文の違いを利用した結果統合として報告されている。
従来手法との違い
手動実行では、人手で書き直した検索文をBM25に入力し、上位50件をmonoT5またはRankLlamaで並べ直した。自動実行ではGPT-4oが検索文を作り、三つのBM25検索結果を統合する。
自動実行の二方式は、統合後にmonoT5で並べ直すかどうかが異なる。手動実行とは検索文の作り方も違うため、その成績差を結果統合だけの効果とは解釈できない。著者らは、iKAT-23では統合と再順位付けを使う自動実行が手動実行を上回らなかったとも報告している。
実験結果
著者らが示したTREC iKAT 2024の文書順位付け結果では、BM25結果の統合後にmonoT5で並べ直す自動実行はNDCG@10が47.7、MAP@1Kが21.1だった。NDCG@10は上位10件について、関連度と順位を考慮する指標である。再順位付けをしない自動実行は、それぞれ35.6、18.1だった。
人手の検索文を使うBM25＋monoT5のNDCG@10は35.4、BM25＋RankLlamaは36.7だった。著者らは、この四実行では統合とmonoT5を組み合わせた方式が最良と報告する。ただし再順位付けなしの自動実行は回答も生成しない。回答生成の評価値は本文時点で示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程の検索で、担当者が「出張時の宿泊費は」と尋ねる場面を想定する。質問と会話履歴、本人が登録した部署情報、版を管理した規程本文を入力し、部署を含めない検索文と含める検索文などから得た結果を統合して、関連箇所を提示する。
元データには会話履歴、登録済みの利用者情報、規程本文が要る。評価には質問ごとの関連文書ラベルを人手で用意する。物理センサーは使わず、部署名の表記ゆれを整えてから適用する。社内規程での改善は検証されていない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：会話履歴、登録済みの利用者情報、検索対象文書をそろえ、質問ごとに関連文書の正解ラベルを人手で付ける。物理センサーは不要。会話の省略だけを補う検索文を基準に、三種の検索結果を統合する方式と同じ文書集合で比べる。
少数の質問で検索文と統合の重みを調整し、別の質問群で上位10件の関連度と判定済み文書の割合を確認する。適用前には社内用語や部署名の表記を整え、文書の更新を検索対象に反映する。回答も試す場合は、提示した内容と参照箇所の一致を人手で点検する。
限界と課題
著者らは、検索結果を集めて関連性を判定する評価方法では、判定に参加していない方式が見つけた文書を十分に評価できない可能性を指摘する。iKAT-23の一例では、上位20件中の判定済み文書が元の検索文で14件、語を追加した検索文で5件だった。回答生成の評価結果は本文時点で示されていない。
編集上の検証事項は、利用者情報を加えた検索文が質問の主題から外れないか、判定漏れが方式間の比較に影響しないか、生成した回答が参照文書に沿うかである。別の文書集合では統合の重みも確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
RALI@TREC iKAT 2024: Achieving Personalization via Retrieval Fusion in Conversational Search
The Recherche Appliquee en Linguistique Informatique (RALI) team participated in the 2024 TREC Interactive Knowledge Assistance (iKAT) Track. In personalized conversational search, effectively capturing a user's complex search intent requires incorporating both contextual information and key elements from the user profile into query reformulation. The user profile often contains many relevant pieces, and each could potentially complement the user's information needs. It is difficult to disregard any of them, whereas introducing an excessive number of these pieces risks drifting from the original query and hinders search performance. This is a challenge we denote as over-personalization. To address this, we propose different strategies by fusing ranking lists generated from the queries with different levels of personalization.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01