アーカイブ / LLM / RAG
検索文書の得点を回答生成の注意計算に組み込むOpenDecoder
OpenDecoder
OpenDecoderの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . Comparison between the existing decoding LLMs that use their default probability distribution and our proposed approach that modifies the distribution by leveraging external explicit relevance signals.
概要
- 検索文書ごとの品質得点をモデルの注意計算に組み込み、回答生成時の参照の重みを調整する。
- 著者らの5データセット平均F1は、Noisy条件でOpenDecoderが34.16、RbFTが32.14だった。
- 社内規程で試すには、正答付き質問、文書別の得点、関連性を確認する検証ラベルが必要になる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、OpenDecoderの仕組み
- 01質問と検索文書
- 02文書別の品質得点
- 03注意計算を調整
- 04回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
OpenDecoderは、検索された文書の関連度を大規模言語モデルの回答生成に反映する手法である。検索拡張生成（RAG）は外部文書を探して回答に使うが、検索結果には質問に関係の薄い文書も混じる。
モデルがそうした文書を根拠にすると、回答の質が下がり得る。規程や手順を検索して答える用途では、文書が見つかったかだけでなく、各文書が質問にどれほど役立つかを生成時に扱うことが重要になる。
手法
質問に対して上位の文書を検索し、各文書の検索器による関連度、言語モデルによる順位付け得点、検索性能予測（QPP）モデルの得点を用意する。QPPは検索結果の質を予測する手法で、この実装では各文書について「関連する」と予測する得点を使う。例えば規程の適用条件を尋ねるなら、検索した各規程と得点を質問に対応付ける。
得点を正規化して文書中の語に割り当て、注意計算に組み込む。注意計算は、回答の次の語を選ぶ際に入力のどの部分を重視するか決める処理である。学習時には正答付きの質問を使い、検索上位文書の後半を関連度の異なる文書に入れ替える。推論時にも文書別の得点を渡し、調整した計算から回答を出す。
新規性
OpenDecoderの主張する新しさは、検索文書の品質を示す得点を、回答文の指示に添えるだけでなく、大規模言語モデルの注意計算に直接反映する点にある。モデルは、得点を使って回答中に参照する入力部分の重みを調整する。
検索器の関連度に加え、言語モデルによる順位付けと検索性能予測の得点を扱う。これらは個別にも組み合わせても使える設計で、学習時には関連度の異なる文書を混ぜる。
従来手法との違い
通常の検索拡張生成（RAG）は、検索文書を質問とともにモデルへ入力する。著者らによれば、従来の生成では検索器が付けた関連度を注意計算に直接使わず、文書の扱いは主にモデル内部の判断に委ねられる。
OpenDecoderは文書別の得点を注意計算へ加える。著者らは通常のRAGや追加学習したモデル、検索結果の欠陥への対応を学習するRbFTなどと比較した。通常条件の全データセットでRbFTを上回ったわけではない。
実験結果
著者らは一般的な質問応答のNQ、TriviaQA、PopQAと、複数の文書をたどるHotpotQA、2WikiMultiHopQAで評価した。全方式に同じQwen-2.5-3B-Instructを使い、各方式へ同じ検索文書を入力した。Normal条件では検索上位10文書を使い、結果表はF1とEMを報告している。
著者らの表では、5データセット平均F1はNormalでOpenDecoderが34.87、RbFTが34.22、Noisyで34.16対32.14、Extremeで27.69対25.53だった。ただしNormalのNQは39.26対40.17でRbFTが上回る。本文の「TriviaQA」は表で「TrivialQA」と記され、名称が食い違う。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程に関する質問応答で試す。入力は社員の質問、検索された規程文書、文書別の得点とし、出力は回答と参照した規程の一覧にする。担当者が回答と原文を照合し、無関係な規程が混じる質問を重点的に確認する。
必要な元データは利用可能な規程集と正答付きの質問例である。追加学習には回答ラベル、検証には文書の関連・無関連ラベルを用意する。センサーは不要で、検索器の得点取得と社内文書へのモデル適応が要る。効果は未検証の応用仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内規程と正答付き質問を集め、通常のRAGを比較基準にする。回答を追加学習用のラベルとし、検証用には検索文書の関連・無関連ラベルを付ける。必要な入力は質問、規程本文、文書別の得点で、センサーは不要である。
同じ質問と検索文書を使って得点を注意計算に組み込むモデルを社内データへ適応する。関連文書が中心の条件と無関係な文書を混ぜた条件で、回答のF1、完全一致率、根拠文書との整合、回答時間を基準方式と比べる。改善の有無は条件ごとに判断する。
限界と課題
著者らは、無関係な検索文書が回答を悪化させ得ることを課題として挙げる。確認できた本文の範囲では、OpenDecoder自体の限界として得点の誤りへの感度や社内文書での性能を検証した結果は確認できない。
編集上の検証事項は、得点の信頼性、回答が原文に忠実か、根拠が足りない質問への応答である。結果表にはNormal、Noisy、Extremeの条件があるが、後二者の文書構成を説明する箇所は途中で切れている。表の数値を実運用での耐性と同一視できない。
出典
元のタイトル・要旨を確認する（英語）
OpenDecoder: Open Large Language Model Decoding to Incorporate Document Quality in RAG
The development of large language models (LLMs) has achieved superior performance in a range of downstream tasks, including LLM-based retrieval-augmented generation (RAG). The quality of generated content heavily relies on the usefulness of the retrieved information and the capacity of LLMs' internal information processing mechanism to incorporate it in answer generation. It is generally assumed that the retrieved information is relevant to the question. However, the retrieved information may have a variable degree of relevance and usefulness, depending on the question and the document collection. It is important to take into account the relevance of the retrieved information in answer generation. In this paper, we propose OpenDecoder, a new approach that leverages explicit evaluation of the retrieved information as quality indicator features for generation. We aim to build a RAG model that is more robust to varying levels of noisy context. Three types of explicit evaluation information are considered: relevance score, ranking score, and QPP (query performance prediction) score. The experimental results on five benchmark datasets demonstrate the effectiveness and better robustness of OpenDecoder by outperforming various baseline methods. Importantly, this paradigm is flexible to be integrated with the post-training of LLMs for any purposes and incorporated with any type of external indicators.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01