アーカイブ / LLM
再マスクされる語の予測を次の生成に生かすRCD
Residual Context Diffusion
Residual Context Diffusionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Average token recall across LLaDA GSM8K sampling steps. For each step k k (x-axis), recall@5 (y-axis) is the fraction of final decoded tokens that appear in the step- k k top-5 predictions at the same position.High early-step recall@5 indicates that intermediate distributions contain semantically informative signals.
概要
- RCDは、再マスクされる位置の候補確率から残差を作り、次の生成反復へ渡す。
- 著者らのSDAR-8B-b64評価では、AIME25の正解率がSeqDの9.79％からRCDの19.79％になった。
- 実務では、対象問題の正解率と生成時間を、参照モデルの初回呼び出しを含めて比較する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Residual Context Diffusionの仕組み
- 01問題文とマスク列
- 02参照分布で開始
- 03語を予測・確定
- 04残差を次段へ注入
- 05回答文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
RCDは、拡散型言語モデルの文章生成で、途中の予測を再利用する手法だ。拡散型言語モデルは、隠した語を複数箇所で予測し、反復しながら文章を完成させる。
従来の再マスク方式では、確信度の高い語だけを確定し、ほかの位置を再び隠す。その位置で計算した候補の確率も捨てるため、次の反復には引き継がれない。反復が必要な長い回答では、予測済みの情報をどう使うかが課題になる。
手法
入力は問題文と、未生成部分を表すマスク列だ。最初に参照モデルが語の候補確率を作る。対象モデルは各位置で語を予測し、確信度の高い位置を確定する。未確定位置では、候補確率で各語の「埋め込み」を重み付き平均する。埋め込みとは、語を数値の列で表したものだ。
この平均を残差と呼び、次の反復ではマスク位置の入力に混ぜる。混ぜる比率は候補確率の散らばりを示すエントロピーで決め、推論時には温度という調整値で散らばりを合わせる。例えば数学問題の回答で未確定の語があっても、その候補情報を次の予測へ渡す。学習時は、先に参照モデルを作り、それを固定して対象モデルを学習させる。
新規性
RCDは、再マスクされる位置の予測分布を、次の反復に渡す文脈情報へ変える。候補語の確率で語の埋め込みを重み付き平均し、確率の散らばりに応じて未確定位置へ混ぜる。
学習では参照モデルと対象モデルを分け、生成の反復全体を通した逆伝播を避ける。推論では最初に参照モデルを一度使い、その後は対象モデル自身の予測を受け渡す。
従来手法との違い
比較対象の逐次デノイズ（SeqD）は、各反復で確信度の高い語を確定し、残りを再びマスクする。RCDはその確定方式を使いながら、未確定位置の予測分布から作った情報を次の入力へ渡す。
著者らはSDARとLLaDAの両系列でSeqDと比較した。別の比較では、SDAR-4B-b64を約3億トークンで1エポック学習した条件で、Loopholingは評価可能な数式列を生成できず、RCDの正解率はGSM8Kで85.90％、MATH500で66.80％だった。
実験結果
著者らはSDARをGSM8K、MATH500、AIME24・25で、LLaDAをGSM8KとMinervaMathで評価した。表1のSDAR比較は確信度のしきい値0.85、SeqDとRCDの生成長16,384トークンという条件だ。SDAR-8B-b64の正解率は、MATH500でSeqDの64.20％からRCDの73.60％、AIME25で9.79％から19.79％になった。
AIMEは温度0.6、16回のサンプルによるPass@1で報告されている。表2では、生成長512トークンで1反復につき1語を確定するLLaDAのMinervaMath正解率が、SeqDの31.10％からRCDの37.00％になった。いずれも著者らが数学課題で測った結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の計算問題を解く補助機能を試す。問題文を入力し、途中の計算説明と最終回答を出力して、担当者が正答資料と照合する。対象は研究で評価された数学課題に近い問題に絞る。
適応には、利用できる問題文と正答、解法を含む学習用の例を用意し、参照モデルと対象モデルを追加学習する。正答と解法が教師となるラベルであり、入力はテキストなのでセンサーは不要だ。社内問題での効果は仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正答を確認できる社内計算問題を、追加学習用と評価用に分ける。問題文と正答、解法を教師データとして整え、既存の拡散型言語モデルを使ってSeqDとRCDを同じ対象問題に適応させる。参照モデルも学習用データで調整する。テキスト入力なので追加センサーは不要だ。
両方式に同じ評価問題と出力長を与え、最終回答の正解率、途中計算の誤り、生成時間、反復回数を記録する。生成時間には参照モデルの初回呼び出しも含める。しきい値や温度を変える場合は条件別に集計し、正確さと時間の両方を比較する。
限界と課題
著者らは、元のChatモデルのGSM8K評価には学習データ混入の可能性があり、基準値が高く出たおそれを記している。また、学習時の参照モデルと推論時の対象モデルで予測分布が異なり得るため、残差の重みを合わせる温度調整を設けている。
編集上の検証事項は、対象業務での正解率と生成時間、参照モデルの初回呼び出しを含む処理量、長い解法での誤りである。数学ベンチマークの値から、社内問題や業務文書一般での改善は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Residual Context Diffusion Language Models
Diffusion Large Language Models (dLLMs) have emerged as a promising alternative to purely autoregressive language models because they can decode multiple tokens in parallel. However, state-of-the-art block-wise dLLMs rely on a "remasking" mechanism that decodes only the most confident tokens and discards the rest, effectively wasting computation. We demonstrate that recycling computation from the discarded tokens is beneficial, as these tokens retain contextual information useful for subsequent decoding iterations. In light of this, we propose Residual Context Diffusion (RCD), a module that converts these discarded token representations into contextual residuals and injects them back for the next denoising step. RCD uses a decoupled two-stage training pipeline to bypass the memory bottlenecks associated with backpropagation. We validate our method on both long CoT reasoning (SDAR) and short CoT instruction following (LLaDA) models. We demonstrate that a standard dLLM can be efficiently converted to the RCD paradigm with merely ~300 million tokens. RCD consistently improves frontier dLLMs by 4-11 percentage points in accuracy with minimal extra computation overhead across a wide range of benchmarks. Notably, on the most challenging AIME tasks, RCD nearly doubles baseline accuracy and attains up to 4-5x fewer denoising steps at baseline's peak accuracy.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01