表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

LaSER:推論文を学習に使い、検索時は内部表現で文書を探す

LaSER

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

LaSERの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1 . Left: Comparison between our proposed pipeline and conventional retriever and rewrite-then-retrieve method. Right: Comparison of performance and latency of different methods on the Bright benchmark. Letency represents the time consumption of processing a single query. The “Rewrite-then-Retrieve” method uses a 0.6B retriever and a 3B rewriter.

出典:LaSER / arXiv ↗

概要

  • LaSERは学習時に明示的な推論文を使い、検索時は質問だけから内部の連続ベクトルを作る。
  • 正解文書の順位付けに加え、推論文と内部処理の途中段階が文書をどう評価するかも対応付ける。
  • 著者らは複数の検索課題で既存方式を上回ると述べるが、確認できた本文の範囲ではLaSERの結果数値と実測待ち時間は確認できない。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、LaSERの仕組み

左から右へ読む
  1. 01質問文
  2. 02語の確率分布
  3. 03連続思考ベクトル
  4. 04文書との類似度
  5. 05検索順位

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

LaSERは、複数の条件や隠れた意図を含む質問から関連文書を探す方法である。密な検索では質問と文書を数値表現に変え、意味の近さを比べるが、著者らは複雑な質問に必要な推論を十分に使えていないと指摘する。

検索前に推論の文章を作れば手掛かりを増やせる一方、文章を順に生成する時間がかかる。そこで著者らは、学習時に推論文を利用し、検索時は文章を出さずに文書を探すことを目指す。

手法

学習時は同じ言語モデルに二つの入力を与える。明示的な経路は質問と外部モデルが作った段階的な推論文を読み、暗黙的な経路は質問だけを読む。後者は、次に使う語の確率で語の数値表現を平均し、文章にはしない「連続思考ベクトル」を順に作る。例えば条件が重なる問い合わせでも、検索時の入力は問い合わせ文だけである。

両経路で正解文書を上位に置くよう学習し、文書への評価の分布も近づける。さらに推論文の途中を一定間隔で選び、暗黙的な各段階が文書をどう評価するかを対応付ける。検索時は暗黙的な経路だけを使い、思考段階の表現を平均した質問の数値表現と、同様に作った文書の表現との近さで順位を決める。

新規性

LaSERは、明示的な推論文を読む経路と、質問だけから内部で処理する経路を、同じ言語モデルで学習させる。検索時に推論文を生成せず、その内容を検索用の表現に反映させることを狙う。

特徴は、最終的な文書の評価だけでなく、推論の途中も対応付ける点にある。長い推論文の途中を一定間隔で選び、内部の各段階と文書評価の傾向を近づける。

従来手法との違い

通常の密な検索は、質問と文書を数値表現に変え、その近さで文書を並べる。推論文を生成してから検索する方式では、検索前に文章を順に出力する時間がかかると著者らは説明する。

LaSERは検索時に質問だけを入力し、短い連続ベクトルの列を作る。既存の暗黙的な推論方式との主な違いは、正解文書を上位に置く学習に加え、明示的な推論文を使って途中段階も指導することにある。

実験結果

著者らは、12領域にまたがるReasonEmbの学習例81,659件を使用したと記す。学習用の推論文はGPT-4o-miniで生成された。評価対象の質問数はBrightが1,384件、学習領域外のFollowIRが104件、BrowseComp-Plusが830件である。

Brightは上位10件の順位を評価するnDCG@10、BrowseComp-PlusはRecall@5・@100・@1000を使う。FollowIRは指示への追従をみるp-MRRに加え、Robust’04とCore’17でMAP@5、News’21でnDCG@5を使う。著者らは既存方式を上回ると述べるが、確認できた本文の範囲ではLaSERの結果行がなく、改善幅と実測待ち時間は確認できない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:社内の障害対応記録を探す検索に試す。入力を「更新後、一部の利用者だけ認証に失敗する」という問い合わせ、出力を関連する過去の記録の順位付き一覧とする。

対象の対応記録、過去の問い合わせ、正解と確認された記録のラベル、学習用の推論文を用意する。問い合わせと記録を社内用語に合わせて学習し、担当者が上位の記録を確認する流れを想定する。専用センサーは使わず、検索精度の改善は導入先で検証する仮説である。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:障害対応記録を検索対象にし、過去の問い合わせ、正解記録のラベル、問い合わせごとの学習用推論文を集める。専用センサーは使わない。社内用語を含む記録と質問に合わせてモデルを学習する。

同じ記録群を対象に、通常の密な検索を比較基準とする。学習に使わなかった問い合わせで、正解記録が上位に入る割合、順位、質問ごとの処理時間を測る。条件の多い質問と単純な質問を分け、推論文の作成とラベル確認にかかる作業量も記録する。

限界と課題

著者らが述べる待ち時間は推論文を生成してから検索する既存方式の課題であり、途中段階への指導不足は既存の暗黙的な推論方式の課題である。いずれもLaSER自体の限界として報告されたものではない。

編集上の検証事項:確認できた本文の範囲ではLaSERの結果行と実測待ち時間を確認できない。推論文の質が変わる場合や社内用語を含む場合の順位、推論文を作る負担も、導入先のデータで確かめる必要がある。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval

LLMs have fundamentally transformed dense retrieval, upgrading backbones from discriminative encoders to generative architectures. However, a critical disconnect remains: while LLMs possess strong reasoning capabilities, current retrievers predominantly utilize them as static encoders, leaving their potential for complex reasoning unexplored. To address this, existing approaches typically adopt rewrite-then-retrieve pipelines to generate explicit CoT rationales before retrieval. However, this incurs prohibitive latency. In this paper, we propose LaSER, a novel self-distillation framework that internalizes explicit reasoning into the latent space of dense retrievers. Operating on a shared LLM backbone, LaSER introduces a dual-view training mechanism: an Explicit view that explicitly encodes ground-truth reasoning paths, and a Latent view that performs implicit latent thinking. To bridge the gap between these views, we design a multi-grained alignment strategy. Beyond standard output alignment, we introduce a trajectory alignment mechanism that synchronizes the intermediate latent states of the latent path with the semantic progression of the explicit reasoning segments. This allows the retriever to think silently and effectively without autoregressive text generation. Extensive experiments on both in-domain and out-of-domain reasoning-intensive benchmarks demonstrate that LaSER significantly outperforms state-of-the-art baselines. Furthermore, analyses across diverse backbones and model scales validate the robustness of our approach, confirming that our unified learning framework is essential for eliciting effective latent thinking. Our method successfully combines the reasoning depth of explicit CoT pipelines with the inference efficiency of standard dense retrievers.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01