アーカイブ / LLM / RAG
検索候補を一覧で生成し、実在する検索対象と安全性を確認する手法
Retrieval-Augmented Query Auto-Completion
Retrieval-Augmented Query Auto-Completionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . Illustrative QAC results in a mobile application search system. Left: for the prefix “apps take me to the moo”, our generative QAC approach infers the user’s intent to explore moon-related experiences and surfaces grounded alternatives such as VR simulations and space exploration apps, rather than hallucinating impossible “go to the moon” apps. Right: for the sensitive prefix “i feel deep depression”, the system produces safe, supportive suggestions that encourage help-seeking (e.g., mental health support, crisis hotlines) and avoid harmful content.
概要
- 検索履歴と実在する検索対象の情報を参照し、入力途中の語句に対する検索候補を一覧で生成する。
- 商用検索のオフライン評価では従来方式より候補提示率と関連性が高い一方、安全性と検索結果による裏付けの指標は従来方式の値が良い。
- 著者らは実運用トラフィックの10%を使った比較実験で、キー入力数5.44%減、候補採用率3.46%増を報告した。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Retrieval-Augmented Query Auto-Completionの仕組み
- 01入力途中の語句
- 02履歴と検索対象を取得
- 03候補一覧を生成
- 04検索候補一覧
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
検索入力中に続きを示す機能は、利用者が少ないキー入力で目的の検索に進むのを助ける。従来方式は過去の検索履歴を主な候補源とするため、珍しい入力や新しい話題では候補が乏しくなりやすい。
文章を生成するモデルなら履歴にない表現も作れるが、不適切な候補や、検索しても見つからない対象を示す恐れがある。アプリのように検索対象が決まっている場合、候補が実際の結果につながるかが利用体験に直結する。
手法
利用者が打ちかけた語句から、履歴にある検索語と、文字や意味の近さで探した実在の項目を集める。項目の題名・説明・評価・人気度や検索語の利用情報を生成モデルへ渡し、順序付きの候補一覧を一度に作る。検索で得た情報を生成に使うこの方法を、検索拡張生成(RAG)という。
学習には人手の例と、別のモデルが批評・修正を重ねた例を使う。次に、関連性、安全性、検索結果の有無、取得情報との整合性、利用行動、多様性などを検証器で採点する。直接選好最適化(DPO)は、高得点の一覧を低得点の一覧より選びやすくする学習法である。配信時は事前生成した候補と、その場で小型モデルが生成する候補を使う。
新規性
著者らは、検索候補を一件ずつ選んで順位付けする工程を、候補一覧を直接生成する工程に置き換えた。検索履歴だけでなく検索対象の情報も生成時に参照し、一覧内の重複にも対応する設計である。
さらに、関連性、安全性、利用行動、検索対象と取得情報による裏付け、多様性を検証器で採点し、評価の高い一覧を選ぶよう学習する。事前生成とその場での生成を併用する配信構成も提案に含まれる。
従来手法との違い
比較対象の従来方式は、検索履歴から候補を集め、文字の一致や利用行動を手掛かりに順位付けする。履歴の少ない入力では候補が不足しやすい。著者らの方式は、検索対象の情報を加え、候補一覧全体を生成する。
評価には、従来方式、候補不足を生成モデルで補う方式、学習工程の一部を省いた方式が含まれる。表では提案方式の候補提示率と関連性が従来方式を上回る一方、安全性や検索対象による裏付けでは従来方式の値が良い。
実験結果
著者らは商用検索の匿名化された入力途中の語句5万件を、頻度別に抽出してオフライン評価した。表の大規模生成モデルの全構成は、候補提示率93.0%、関連性0.687、安全性検証器が少なくとも一件を指摘した一覧の割合0.65%。従来の順位付け方式は順に84.6%、0.646、0.37%だった。
検索結果による裏付けがない候補を含む一覧の割合は、全構成0.49%、従来方式0.28%。著者らは人手評価の選好スコアを+0.40~+0.69、実運用トラフィックの10%を使った比較実験でキー入力数5.44%減、候補採用率3.46%増と報告する。いずれも当該検索環境での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:社内文書検索の入力補助に使う。社員が「経費精」と入力したら、検索履歴と、その社員に閲覧権限がある文書の題名・説明を参照し、「経費精算の申請手順」などの候補一覧を返す。表示前に各候補を検索し、該当文書と権限を確認する。
必要なのは検索履歴、権限を反映した文書目録、関連性と安全性を判断する人手のラベルである。文書更新時の取り込みと検証器の調整も要る。検索時間が短くなるかは、この用途で別途確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:社内文書検索で同じ入力語句群を用い、既存の履歴ベースの候補提示を比較基準にする。検索履歴と、閲覧権限を反映した文書の題名・説明を入力に使う。関連性、安全性、重複を人手で判定したラベルを用意し、検証器を用途に合わせて調整する。
まず候補を利用者に表示せず、候補提示率、検索結果が空になる一覧の割合、問題のある候補の割合、応答時間を比較する。文書目録の更新と権限別の検索確認を組み込んだ後、小規模な利用者比較でキー入力数と候補採用率を測る。
限界と課題
著者らは、履歴への依存、生成候補が実在する検索対象につながらない危険、安全上の問題を課題に挙げる。評価表では提案方式にも、少なくとも一件の候補が安全性検証器に指摘された一覧や、検索結果で裏付けられない一覧が残る。
編集上の検証事項は、別の検索対象でも効果が続くか、文書や閲覧権限の変更を反映できるか、応答時間が許容範囲に収まるかである。確認できた本文の範囲では、オンライン実験の詳しい条件や人手評価の採点方法は分からない。
出典
元のタイトル・要旨を確認する(英語)
Unifying Ranking and Generation in Query Auto-Completion via Retrieval-Augmented Generation and Multi-Objective Alignment
Query Auto-Completion (QAC) suggests query completions as users type, helping them articulate intent and reach results more efficiently. Existing approaches face fundamental challenges: traditional retrieve-and-rank pipelines have limited long-tail coverage and require extensive feature engineering, while recent generative methods suffer from hallucination and safety risks. We present a unified framework that reformulates QAC as end-to-end list generation through Retrieval-Augmented Generation (RAG) and multi-objective Direct Preference Optimization (DPO). Our approach combines three key innovations: (1) reformulating QAC as end-to-end list generation with multi-objective optimization; (2) defining and deploying a suite of rule-based, model-based, and LLM-as-judge verifiers for QAC, and using them in a comprehensive methodology that combines RAG, multi-objective DPO, and iterative critique-revision for high-quality synthetic data; (3) a hybrid serving architecture enabling efficient production deployment under strict latency constraints. Evaluation on a large-scale commercial search platform demonstrates substantial improvements: offline metrics show gains across all dimensions, human evaluation yields +0.40 to +0.69 preference scores, and a controlled online experiment achieves 5.44\% reduction in keystrokes and 3.46\% increase in suggestion adoption, validating that unified generation with RAG and multi-objective alignment provides an effective solution for production QAC. This work represents a paradigm shift to end-to-end generation powered by large language models, RAG, and multi-objective alignment, establishing a production-validated framework that can benefit the broader search and recommendation industry.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




