アーカイブ / LLM / RAG
検索文の条件を自ら読み解いて文書を探すGEM：生成と検索を一つのモデルで接続
GEM
GEMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: An example use case of GEM.
概要
- GEMは検索文から意図と関連条件を生成し、その内容を含む埋め込みで文書を順位付けする。
- 著者らのBRIGHT評価では平均nDCG@10が29.1で、同じ基盤モデルを検索用に学習した比較対象の21.4を上回った。
- 社内検索への応用には関連ラベル付きの質問と文書を用意し、除外条件の扱いと処理時間を現行検索と比較する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、GEMの仕組み
- 01検索文
- 02意図と関連条件を生成
- 03埋め込みに変換
- 04文書との近さを計算
- 05文書を順位付け
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
GEMは、検索文から利用者の意図と文書の選択条件を文章にしてから、関連文書を探す。例えば、ある話題の資料のうち「専門用語が少ないもの」を求める場合、話題だけでなく読みやすさも選択条件になる。
従来の検索器は、検索文と文書の単語や意味の近さに頼ることが多い。条件が文書に同じ言葉で書かれていない場合や、避けたい内容が指定された場合にも、その条件を順位へ反映できるかが課題となる。
手法
GEMは検索文を受け取り、利用者が何を求め、どんな文書を関連ありとみなすかを文章で生成する。その末尾に専用の記号を加え、検索文と生成文を埋め込みに変える。埋め込みは文章の特徴を表す数値の並びで、文書側も同じモデルで数値化し、両者の近さで順位を決める。例えば「専門用語を避けた解説」を探す際は、その条件を含む解釈から検索用の表現を作る。
学習では、検索文と正解文書の組から複数の解釈を生成し、元の正解文書が引き続き関連すると判定された解釈を残す。次に、解釈に合う文書と、話題は似るが条件に反する文書を作る。文章を続けて生成する学習と、正解文書を近くに置く検索用の学習を同時に行う。
新規性
GEMの特徴は、一つのモデルが検索文から利用者の意図と関連条件を文章にし、その続きから検索用の数値表現を作る点にある。著者らは、モデル自身が生成した推論を検索に使う埋め込みモデルだと位置付ける。
学習では、元の正解文書との関連が保たれる推論を選び、その推論に合う文書と、話題は近いが条件に反する文書を生成する。生成能力と検索能力を一緒に学ばせ、両者をそろえる設計である。
従来手法との違い
直接の比較対象は、同じQwen3-4B-Instruct-2507を基盤に、元のPromptrieverデータで検索用の学習だけを行ったモデルである。著者らのBRIGHT評価では、GEMの平均nDCG@10は29.1、比較対象は21.4だった。ただし学習データと学習方法の両方が異なるため、この差だけで推論生成の効果は切り分けられない。
著者らは別途、生成する学習を外すなどの要素を除いた比較も報告している。また、外部のGPT-4が作った推論を入力する条件ではGEMの平均は30.0で、GEM自身が生成する通常条件の29.1とは処理手順が異なる。
実験結果
著者らは推論を要する検索を含むBRIGHTの12分野をnDCG@10で評価した。上位の正解文書を重視するこの指標の平均はGEMが29.1、同じ基盤モデルを検索用に学習した比較対象が21.4だった。一方、Pony分野ではそれぞれ2.8、3.8で、GEMが下回った。
指示付き検索のFollowIRでは、著者らはRobust04、News21、Core17の平均p-MRRをGEMで+11.7、比較対象で+6.8と報告する。p-MRRは指示変更に順位がどれだけ反応するかを測る。InstructIRのRobustness@10は54.8対46.2で、同じ質問に異なる条件を付けた場合の最低nDCG@10を表す。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程の検索で、「出張費の申請手順。ただし海外出張は除く」という質問を受け、条件に合う規程文書を順位付けする。入力は検索文と規程本文、出力は担当者が確認する候補文書の一覧とする。生成された解釈も点検し、除外条件の取り違えを見つける。
適用には、社内の検索文と対応する規程本文に加え、各文書が質問の条件に合うかを示す関連ラベルが要る。センサーは使わない。社内用語や規程の改訂内容に合わせてデータを整え、モデルをどう適応させるか検討する。精度向上は仮説であり、回答の根拠は原文で確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内規程を対象に、除外条件や読みやすさの指定を含む検索文を集め、担当者が文書ごとの関連ラベルを付ける。必要なデータは検索文、規程本文、関連ラベルで、センサーは不要だ。社内用語を整理し、学習用と検証用の質問を分けたうえで、対象文書に合わせる方法を決める。
同じ文書集合と質問で、現行検索と適応後のGEMを比較する。条件に合う文書が上位10件に入る割合、除外対象の混入割合、質問ごとの処理時間を測る。規程改訂後の質問でも確認し、生成された解釈と上位文書を担当者が点検して利用範囲を判断する。
限界と課題
著者らは、BRIGHTのPonyプログラミング言語の課題でGEMの成績が低いと報告する。また、生成文を長くする試験ではBRIGHTの平均成績の改善が頭打ちになり、単純な質問で余分な内容が増えることを、その理由の一つとして挙げる。
編集上の検証事項は、生成された解釈が除外条件を取り違えないか、生成した学習用文書の関連ラベルが適切か、対象分野が変わっても順位が安定するかである。社内規程への適用結果や運用費用は報告されておらず、導入先で確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
GEM: A Generative Embedding Model Bridging Reasoning and Retrieval
Modern LLMs excel at reasoning and instruction following, enabling users to express complex and diverse information needs. However, conventional retrievers largely rely on surface-level matching between queries and documents, resulting in a growing gap between how users express their needs and how retrievers interpret them. In this paper, we present GEM, a generative embedding model that augments retrieval through its own knowledge by explicitly reasoning about user intent and relevance criteria. GEM unifies generation and embedding within a single model: it first reasons over the query, then appends an embedding token to encode the enriched context for retrieval. Evaluated on reasoning-intensive and instruction-following retrieval tasks, GEM demonstrates the effectiveness of its reasoning-augmented retrieval, outperforming its non-reasoning variant and matching baselines using substantially larger models. Furthermore, GEM's generative nature allows test-time compute scaling via prompting to further enhance retrieval performance. Our code is available at: https://anonymous.4open.science/r/GEM.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01