アーカイブ / LLM / RAG
答えを直接書いていない文書も探す、推論向け検索モデルReasonIR-8B
ReasonIR-8B
ReasonIR-8Bの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) IR Performance.
概要
- 推論の手掛かりになる文書を探すため、難しい質問と紛らわしい不正解を合成して検索器を学習する。
- 著者らのBRIGHT評価では、nDCG@10が元の質問で24.4、GPT-4による質問書き換えで29.9、再順位付けを加えた表の値で36.9だった。
- 実務では検索順位、回答の正確さ、長い質問の効果を同じ文書集合で別々に検証したい。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ReasonIR-8Bの仕組み
- 01推論を要する質問
- 02質問の書き換え
- 03文書の順位付け
- 04関連文書
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ReasonIR-8Bは、複雑な質問を解く手掛かりとなる文書を検索するモデルだ。例えば必要なのが結論そのものではなく、前提知識や解き方の例なら、質問と同じ語を含む文書を探すだけでは足りない。
検索した文書を言語モデルへ渡して回答させるRAG、すなわち検索拡張生成では、最初の検索漏れが後段の回答に響く。著者らは、短い事実質問を中心に学んだ検索器と、推論を要する質問との隔たりを課題にした。
手法
ReasonIR-8Bは二つの文章を別々に数値の列へ変換する「二塔型」の検索器で、質問と文書の近さから文書を並べる。例えば「ある現象をどの測定で切り分けるか」という質問に対し、答えを断言するページに限らず、必要な測定の背景を説明する文書を上位に置くことを狙う。検索結果を言語モデルに渡して回答を作る運用も論文で評価した。
学習には、実在の文書から作った難しい質問と元文書の組、長さの異なる合成質問と対応文書、既存の公開データを使う。さらに、見かけは関連しても質問の解決に役立たない「難しい不正解」を別の生成段階で作る。関連文書を不正解より近く配置する対照学習を行い、利用時には情報を補った長い質問や、上位文書を再評価する再順位付けも使える。
新規性
著者らの中心的な提案は、推論に役立つ文書を探すための学習データを生成し、検索モデルを訓練することだ。元文書から難しい質問を作るだけでなく、関係がありそうで実際には役立たない文書も別の生成段階で作る。
長い質問への対応を狙う別の合成データも加え、短い事実質問を中心とする公開データと混ぜて学習する。推論用の質問と紛らわしい不正解を組にした点が、学習設計の要となる。
従来手法との違い
従来の検索学習データには、短い質問と、その答えを直接含む文書の組が多い。論文中の分析では、Natural QuestionsとMS MARCOの質問は平均20、21トークンで、推論を要するBRIGHTの平均194トークンより短い。
著者らはBM25やGritLM-7Bなどと比較した。BRIGHTの元の質問ではReasonIR-8BがnDCG@10で24.4、GritLM-7Bが20.9だった。ただし、質問を書き換えるか、再順位付けを加えるかで条件が変わるため、数値は同条件で読む必要がある。
実験結果
著者らは12分野の推論型検索ベンチマークBRIGHTで、上位10件の順位品質を表すnDCG@10を報告した。ReasonIR-8Bは元の質問で24.4、GPT-4で書き換えた質問では再順位付けなしで29.9、Qwenを用いた再順位付けを加えると表では36.9だった。本文の一箇所には36.8ともあり、参照箇所で値が揺れる。
RAG評価では、文書なしで答える条件に対し、著者らはMMLUで6.39％、GPQAで22.58％の相対改善を報告した。表にある元の質問での得点は、MMLUが71.1から75.0、GPQAが31.3から38.4である。質問の書き換え条件ではGPQAが35.4となり、設定ごとに効果を確かめる必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製造設備の不具合調査で、症状の記述から関連する社内技術文書を探す。入力は「特定の運転条件で振動が増える」といった報告文と、検索対象にする手順書・過去の調査記録である。
検索結果には直接の答えを記した文書だけでなく、振動を切り分ける測定方法や類似条件の解説が含まれ得る。担当者は上位文書を読んで調査手順を決め、必要なら検索文を条件や仮説まで含む形に書き直す。これは論文の性能が社内文書でも再現するという主張ではない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず実務の質問を少数集め、担当者が「判断に役立つ文書」を候補集合から記録する。同じ文書集合と質問で、現在の検索方法とReasonIR-8Bの上位10件を比べ、有用文書が現れる順位と見落としを測る。
次に、元の質問と背景情報を補った質問を両方式へ入力し、長い質問で結果が改善するか確認する。検索結果を使う回答工程も対象なら、根拠文書の妥当性と回答の正確さを分けて採点する。再順位付けを加える場合は、改善幅と処理量を同じ案件で記録する。
限界と課題
著者らは、従来の検索器では推論向け質問の有用文書を拾いにくく、検索結果から紛らわしい不正解を選ぶ従来の方法にも問題があると述べる。生成した質問の元文書が、文書集合全体で最も適切とは限らない点も挙げている。
導入時には、合成した「不正解」が実は別の推論経路で有用ではないかを人が点検したい。社内文書ではアクセス権、更新日、専門用語が検索順位にどう影響するかも別途確認が必要だ。BRIGHTの得点だけで、回答の正確さや業務上の適合性までは判断できない。
出典
元のタイトル・要旨を確認する（英語）
ReasonIR: Training Retrievers for Reasoning Tasks
We present ReasonIR-8B, the first retriever specifically trained for general reasoning tasks. Existing retrievers have shown limited gains on reasoning tasks, in part because existing training datasets focus on short factual queries tied to documents that straightforwardly answer them. We develop a synthetic data generation pipeline that, for each document, our pipeline creates a challenging and relevant query, along with a plausibly related but ultimately unhelpful hard negative. By training on a mixture of our synthetic data and existing public data, ReasonIR-8B achieves a new state-of-the-art of 29.9 nDCG@10 without reranker and 36.9 nDCG@10 with reranker on BRIGHT, a widely-used reasoning-intensive information retrieval (IR) benchmark. When applied to RAG tasks, ReasonIR-8B improves MMLU and GPQA performance by 6.4% and 22.6% respectively, relative to the closed-book baseline, outperforming other retrievers and search engines. In addition, ReasonIR-8B uses test-time compute more effectively: on BRIGHT, its performance consistently increases with longer and more information-rich rewritten queries; it continues to outperform other retrievers when combined with an LLM reranker. Our training recipe is general and can be easily extended to future LLMs; to this end, we open-source our code, data, and model.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29