アーカイブ / LLM
Alipayの商品検索で無関係な候補を減らす、理由の学習と検索後の選別
Knowledge Distillation Reasoning and Decision Agent
Knowledge Distillation Reasoning and Decision Agentの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . An overview of our GR framework, which contains 2 modules: knowledge distillation reasoning and decision agent.
概要
- 関連・無関連の理由を生成検索モデルに追加学習し、検索後はBM25で候補を広げて商品条件ごとに選別する。
- 著者らが報告したオフライン正解率は基金検索で87.17%、保険検索で90.05%。初期の生成検索はそれぞれ83.83%、85.83%だった。
- オンラインでは既存の検索経路に提案手法を追加した。著者らは基金の曖昧な検索で取引件数が11.75%、保険検索全体で1.89%増えたと報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Knowledge Distillation Reasoning and Decision Agentの仕組み
- 01注釈済み組・検索語
- 02理由を生成・学習
- 03商品名を生成
- 04候補拡張・条件判定
- 05関連商品の題名
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、検索語に合わない商品が生成検索の結果に混じる問題を扱う。生成検索とは、モデルが文書の識別子を直接出して候補を探す方法である。意図を読み取って検索できても、無関係な候補を出す場合がある。
Alipayの基金・保険検索では、商品種別や期間などを取り違えると、利用者が求める商品にたどり着きにくい。著者らは、学習時に関連性の理由を取り込み、検索後にも商品情報で候補を点検する構成を試した。
手法
まず、関連する検索語と商品文書の注釈済みの組、および商品の構造化情報で生成検索モデルを学習する。この実験では商品名を文書の識別子として出す。次に検索ログの語に対する初期モデルの結果を複数の大規模言語モデルで判定し、全モデルが無関連とした組を集める。既存の関連する組と合わせ、より大きなモデルに関連・無関連の理由を生成させ、その文章を追加して生成検索モデルを再学習する。これを知識蒸留と呼ぶ。
検索時には、生成された商品を起点にBM25で似た商品を探し、別の大規模言語モデルが会社・商品種別・期間など各観点で検索語との適合を判定する。各観点で関連するとされた商品の題名を最終結果に残す。例えば「一日だけの傷害保険」では、年間契約の商品を期間の観点から除く。著者らはこの検索後の選別器を決定エージェントと呼ぶ。
新規性
著者らは、検索語と文書が関連する、または関連しない理由を大規模言語モデルに生成させ、生成検索モデルの追加学習に使う。さらに、検索後に候補を広げ、商品情報の複数の観点から関連性を判定する構成を提案した。
理由のデータを作るための追加の手作業による注釈は不要だと述べる。ただし、最初の生成検索モデルには、関連する検索語と文書の注釈済みの組が必要である。
従来手法との違い
オフラインの比較対象は、語の一致などを使うBM25と、理由の追加学習や検索後の選別を行う前の生成検索モデルである。提案手法では、後者に関連性の理由を学習させ、生成した候補を起点にBM25で候補を広げて選別する。
オンライン比較の条件は異なる。既存の疎検索と密検索を組み合わせた検索システムに、提案手法を新たな検索経路として追加した結果を比べている。
実験結果
著者らは基金・保険検索で、検索ログから頻度の異なる検索語を抽出し、担当者が商品の関連性を判定した。オフライン指標は正解率（ACC）。基金ではBM25が69.33%、初期の生成検索が83.83%、提案手法が87.17%、保険では順に47.33%、85.83%、90.05%だった。学習データは基金約25万件、保険約20万件で、各分野に理由のデータ2万件を追加した。
オンラインA/Bテストでは既存経路に提案手法を追加した。著者らの表では、基金の曖昧な検索で取引件数が11.75%、保険検索全体で1.89%増えた。本文は複数指標について95%信頼水準で有意と述べるが、指標別の検定結果は確認できた本文の範囲では示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の商品情報検索で、担当者が「一日だけの傷害保険」と入力し、条件に合う商品の題名を確認する。検索結果から商品文書の原文を開き、案内前に保障期間などを確かめる運用を想定する。
必要な元データは商品文書、検索語と関連商品の注釈済みの組、会社・商品種別・期間などの項目である。関連性の基準を定め、社内の商品名や条件に合わせて学習データと判定指示を調整する。入力は文字情報で、センサーは不要。効果は未検証の応用仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一つの商品群に絞り、商品文書、会社・種別・期間の項目、検索ログ、関連商品を注釈した検索語との組を用意する。無関連の基準を定め、初期の生成検索と、理由の学習・検索後の選別を加えた方法を同じ検索語で比べる。文字情報を使うためセンサーは不要である。
担当者が関連性を判定した評価用の検索語を学習用とは別に確保する。正解率、条件に合わない商品が結果に混じる割合、検索にかかる時間を測る。商品群に合わせて判定項目と指示文を調整し、候補生成・拡張・最終判定のどこで誤りが生じたかを記録する。
限界と課題
著者らは、理由を追加学習した後も無関係な検索結果が残るため、検索後の選別を設けたと説明する。また、選別器に渡す候補数を増やすと正解率がいったん上がってから下がると報告し、実験では候補数を5に設定した。
編集上の検証事項は、別の商品群でも関連性の基準や判定指示が通用するか、複数モデルによる判定の誤りが結果にどう影響するかである。検索時間、運用負荷、商品情報の更新後の挙動も導入先で測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
Alleviating LLM-based Generative Retrieval Hallucination in Alipay Search
Generative retrieval (GR) has revolutionized document retrieval with the advent of large language models (LLMs), and LLM-based GR is gradually being adopted by the industry. Despite its remarkable advantages and potential, LLM-based GR suffers from hallucination and generates documents that are irrelevant to the query in some instances, severely challenging its credibility in practical applications. We thereby propose an optimized GR framework designed to alleviate retrieval hallucination, which integrates knowledge distillation reasoning in model training and incorporate decision agent to further improve retrieval precision. Specifically, we employ LLMs to assess and reason GR retrieved query-document (q-d) pairs, and then distill the reasoning data as transferred knowledge to the GR model. Moreover, we utilize a decision agent as post-processing to extend the GR retrieved documents through retrieval model and select the most relevant ones from multi perspectives as the final generative retrieval result. Extensive offline experiments on real-world datasets and online A/B tests on Fund Search and Insurance Search in Alipay demonstrate our framework's superiority and effectiveness in improving search quality and conversion gains.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01