新着研究 / LLM / RAG
文書IDを覚えても文章力を保てるか：生成型検索のSpeakGR
SpeakGR
概要
- SpeakGRは意味IDの検索学習と、元モデルの自然文予測を保つ学習を組み合わせる。
- 適応版は言語分布のずれに応じて保持学習の強さを変える。
- 著者らは６条件で検索指標とWikiText-2の分布差を測り、SFT-onlyより大幅に小さい言語のずれを報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SpeakGRの仕組み
- 01質問と文書ID
- 02ID検索を学習
- 03元モデルと語分布を照合
- 04検索IDと自然文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
生成型検索は、質問に対して文書の識別子を文章のように順番に出す方式である。「意味ID」は文書に割り当てた短い記号列で、出力を実際の文書へ対応付ける。検索器と対話モデルを一体化できる可能性がある一方、IDだけを大量に学ぶと普通の文章を作る振る舞いが変わり得る。
検索後に説明や確認質問まで行う窓口では、見つける能力と伝える能力の両方が必要になる。
手法
まず各文書へ短い意味IDを割り当て、質問から対応するIDを生成するようモデルを学習する。同時に自然文の入力を与え、学習中のモデルに続きを書かせる。その途中の各時点で、凍結した元モデルと学習中のモデルが次にどの語を出しやすいかを比較する。「前向きKL」は二つの確率分布の差を測る量で、ここでは元モデルが重視する語を学習中のモデルも見落とさないように使う。
比較は元からある文章用の語彙で行う。検索時は有効なIDだけを出すよう制約し、自然文を返す時は文章用の語彙を使う。適応版では、観測した分布のずれが大きいほど保持側の学習を強める。
新規性
SpeakGRは、文書の意味IDを出すための教師あり学習に、元の言語モデルの次語分布を保つ学習を組み合わせる。保持用の文章は現在のモデル自身に続きを書かせ、そこで生じた各時点の次語予測を、凍結した元モデルと比べる。
Adaptive SpeakGRは、そのずれの観測値に応じて保持学習の重みを更新する。検索を学び進めながら、自然言語の予測が元モデルから離れ過ぎないよう調整する設計である。
従来手法との違い
基準のSFT-onlyは、質問から文書IDを出す課題だけでモデルを追加学習する。著者らは、検索精度を得ても通常の語の予測分布が大きく変わる例を示した。SpeakGRは同じID学習に元モデルとの分布比較を足し、検索と文章生成の両方を同じモデルで保とうとする。
結果は一律の勝利ではない。例えばNQのQwen系では、固定重みのSpeakGRはSFT-onlyよりRecall@10が下がった。適応版は多くの条件で検索を回復したが、検索と保持の釣り合いはモデルとデータで変わる。
実験結果
著者らはMS MARCOとNatural Questionsの加工済み文書集合を使い、Qwen3の２規模とGemma-3の計３モデル、６通りの組合せで比較した。検索はRecall@10など、文章の保持はWikiText-2での前向きKLを測る。Recall@10は正解文書が上位10件に入る割合、前向きKLは元モデルとの次語分布の差である。
SFT-only比でSpeakGRの前向きKLはMS MARCOで81.3～93.8％、Natural Questionsで81.2～85.2％低かった。例えばMS MARCOとQwen3-0.6BではRecall@10が0.6386から0.6349、前向きKLが8.103から1.519になった。著者らは適応版が６条件中５条件でSpeakGRより検索を改善したと報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内文書をIDで探し、その文書を示しながら質問に答える対話窓口を想定する。入力は利用者の質問と文書IDに対応付けた社内文書、出力は検索されたIDと、その文書に基づく説明文である。
質問が曖昧なら確認質問を返す必要もあるため、ID検索だけ上達して通常文が崩れては困る。検証では検索した文書の妥当性と、続く説明や確認質問の読みやすさを別々に確認する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：小さな文書集合に意味IDを付け、同じ初期モデルと質問データでID学習のみ、SpeakGR、適応版を比べる。保管した質問でRecall@10を測り、学習に使っていない自然文で元モデルとの前向きKLを測る。
検索後には文書を読ませて短い説明と確認質問も作り、人が文意と読みやすさを評価する。検索精度が少し上がっても文章が崩れる設定は採用せず、両指標を並べて学習時点を選ぶ。
限界と課題
著者らは「言語の保持」を、元モデルの自然文に対する次語予測を保つことと定義する。数学やコードなど個別の能力が維持される保証ではない。実験でも検索指標とWikiText-2上の分布差を主に測っており、社内対話の回答品質を直接実証したものではない。
編集上の確認事項は、日本語文書と日本語の対話での振る舞い、文書IDの更新時の再学習、検索後に根拠を使った回答ができるかである。元モデルの表現が業務要件に適しているかも確かめたい。
出典
元のタイトル・要旨を確認する（英語）
Can Generative Retrievers Learn Semantic IDs Without Forgetting How to Speak?
Generative retrieval (GR) enables end-to-end retrieval by generating document semantic identifiers (SIDs). However, retrieval-only fine-tuning can over-specialize pretrained language models to SID prediction, substantially distorting their natural-language distribution and limiting their suitability for interactive systems that must both retrieve documents and generate natural-language responses. We introduce SpeakGR, a dual-objective framework that learns SIDs while preserving language generation. It combines supervised SID learning with speak-preserving regularization: an on-policy distillation objective that aligns the current model with a frozen copy of the original model on student-generated prefixes using forward KL over the original text vocabulary. We further propose Adaptive SpeakGR, which dynamically adjusts the preservation strength based on observed language drift. Compared with SFT-only, SpeakGR reduces WikiText-2 forward KL by 81.3-93.8% on MS MARCO and 81.2-85.2% on Natural Questions (NQ) while retaining effective retrieval across three different LLMs. Adaptive SpeakGR further improves retrieval over SpeakGR in most settings while maintaining substantially lower language drift than SFT-only.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29