表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

検索文書の答えが食い違うとき、二つの確信度で回答を調整するDCCD

Dual-Confidence Contrastive Decoding

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Dual-Confidence Contrastive Decodingの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: Overview of Dual-Confidence Contrastive Decoding (DCCD). Given a query x x and retrieved documents { d 1 , … , d n } \{d_{1},\ldots,d_{n}\} , z i z^{i} denotes the next-token logits conditioned on document d i d_{i} . DCCD combines document-level ( q i q_{i} ) and token-level ( c ( i , t ) c_{(i,t)} ) confidence scores to select positive and negative document-conditioned streams at each decoding step. The margin between the selected scores controls the strength of the contrastive term ϵ t \epsilon_{t} .

出典:Dual-Confidence Contrastive Decoding / arXiv ↗

概要

  • DCCDは、文書だけで答えられそうかと次の語を明確に予測できるかを組み合わせ、検索文書ごとの予測差を回答生成に反映する。
  • 著者らのDRQA評価では、Qwen3.5-2B・上位5文書の正解率はDCCDが16.73%、通常の全文書生成が11.44%だった。
  • 社内導入では、日付と正解の根拠を付けた質問例を用意し、古い値の採用率と応答時間も検証する必要がある。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Dual-Confidence Contrastive Decodingの仕組み

左から右へ読む
  1. 01質問と検索文書
  2. 02文書の回答可能性を推定
  3. 03語の予測を比較
  4. 04文書間の予測差を加算
  5. 05回答

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

DCCDは、検索された複数の文書に答えの候補が混在するとき、回答に使う文書の影響を生成中に調整する。検索拡張生成(RAG)は、質問に関連する文書を取り出し、言語モデルに参照させて答える方法だ。

報告書、メール、チャットには、現行の値だけでなく古い値や誤った値もあり得る。文書が質問に関連していても、答えの根拠として十分とは限らない。著者らは、検索結果の内部で情報が衝突する場合を対象にした。

手法

DCCDは最初に、質問と各文書を一つずつ組にし、「この文書だけで答えられるか」とモデルに尋ねる。「はい」「いいえ」の予測から文書単位の確信度を計算し、回答を作る間はその値を固定する。次に、各文書を個別に読ませた場合の次の語の予測を調べ、候補語への予測の集中度から語単位の確信度を毎回計算する。

二つの確信度の合計が最高と最低の文書を生成の各時点で選ぶ。全文書を読んだ予測に、選んだ二文書の予測差を加え、その強さを確信度の開きで決める。例えば実績値を問う際に現行報告書と古い会議記録が異なる数値を示せば、この差が次に出す語の選択に作用する。ただし、確信度は文書の真偽を直接判定する値ではない。

新規性

著者らは、文書だけで質問に答えられそうかを示す確信度と、その文書を読んだモデルが次の語を明確に予測できるかを示す確信度を、回答生成中に組み合わせる。

この合計で文書ごとの予測を選び、確信度の差に応じて予測の対比を強める。追加学習を要しない方法として、検索文書間の衝突を扱う点が提案の中心である。

従来手法との違い

通常の全文書生成は、検索された文書をまとめて読んで回答する。CADとAdaCADは主に、検索文書を読んだ場合と読まない場合の予測を対比し、モデル内の知識と外部情報の衝突を扱う。

DCCDは全文書を使う予測を土台に、文書を一つずつ読んだ場合の予測差を加える。近い手法のDVDも文書別の予測を対比するが、著者らによれば、文書の回答可能性と次の語の予測の明確さを明示的には分けていない。

実験結果

著者らは、合成した企業固有の事実を問うDRQAと、NQ、TriviaQA、RetrievalQA、PopQAで評価した。DRQAには正解、誤情報、過去時点の情報、無関係な文書が含まれる。Qwen3.5-2B、Qwen3.5-9B、Phi-3-medium(14B)に、各データセットの上位5件または10件の文書を与えた。

DRQAの指標は判定用モデルによる正解率、他の4件は表記を正規化した完全一致率である。Qwen3.5-2BのDRQAでは、上位5件でDCCDが16.73%、通常の全文書生成が11.44%、上位10件ではそれぞれ12.15%と7.39%だった。著者らは平均性能がほぼ全ての設定で最良と述べるが、個別の条件では他手法が上回る例もある。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:社内の月次実績について、日付の異なる報告書と会議記録から数値を答える検索システムを試す。入力は質問と、日付・種類を保持した各文書の本文。出力は回答と、確認用に記録した根拠候補の文書IDとする。

必要なデータは、日付付きの社内文書と、人が正解値・根拠文書を付けた質問例である。追加センサーは想定しない。文書形式をそろえ、質問時点と文書日付の扱いを決めてDCCDを適用し、担当者が回答と根拠候補を照合する。文書IDの提示は業務側で加える機能であり、論文で効果が実証された用途ではない。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:日付付きの社内報告書と会議記録を集め、質問ごとに正解値、現行の根拠文書、紛らわしい旧文書を人手で付ける。必要な入力は文書本文・日付・質問、必要なラベルは正解値と根拠文書で、追加センサーは使わない。文書を共通の入力形式に整え、文書単位の判定と生成中の対比を組み込む。

同じ検索結果とモデルで、全文書をそのまま読ませる方法を基準にする。正解率、根拠文書との一致率、古い値の採用率、応答時間を測る。検索件数を変えた場合も比べ、特定の質問や文書形式だけで差が出ていないか確認する。

限界と課題

著者らはDRQAで、検索文書を上位5件から10件に増やすと正解率が下がる傾向を報告する。各質問に現行の正解文書が一つある設定での観察であり、文書数を増やすと常に悪化するという結果ではない。

編集上の検証事項として、社内文書の日付が正確か、回答可能性の高い文書が実際に正しいかを確かめたい。文書別の予測も使うため、応答時間の測定も必要だ。DRQAは合成した企業固有の事実に基づく。実際の社内文書への成績の移行は、確認できた本文の範囲では示されていない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Dual-Confidence Contrastive Decoding for Retrieval-Augmented Generation

Retrieval-augmented generation (RAG) increasingly requires models to answer questions from multiple retrieved documents, where only some sources are relevant and the retrieved bundle may contain stale, noisy, or conflicting evidence. Existing contrastive decoding methods primarily focus on resolving conflicts between the model's internal memory and the retrieved context. In contrast, we study the complementary problem of intra-context conflict in multi-document RAG. To evaluate this setting, we introduce DRQA, a factual-conflict question answering benchmark derived from enterprise deep-research scenarios, where answers are grounded in synthetic enterprise-specific facts that are designed not to be recoverable from the model's internal memory. We further propose Dual-Confidence Contrastive Decoding (DCCD), a training-free decoding method that combines document-level confidence, which estimates whether a document appears sufficient for answering the question, with token-level confidence, which estimates whether that document supports a confident next-token prediction. DCCD selects positive and negative document-conditioned streams using these dual-confidence signals and scales a document-level contrast by their confidence margin. Across DRQA and standard multi-document QA benchmarks, DCCD achieves the best average performance among full-context and contrastive decoding baselines, with the largest gains on DRQA. These results highlight the importance of source-aware, confidence-gated decoding when retrieved evidence is internally conflicting.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01