新着研究 / LLM
解答全体を段階的に整える連続拡散型推論モデルLFRM
Latent Flow Reasoning Models
Latent Flow Reasoning Modelsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3: Qwen layer structure. Linear CKA of teacher-forced activations on the combined discovery and confirmation panels. White markers select layers 16, 24, and 32. The transition after layer 16 motivates retaining that layer, followed by regularly spaced deeper features.
概要
- LFRMは解答全体を数値表現で持ち、雑音から繰り返し更新して文章へ戻す。
- 複数の教師層から学んだ表現と、小型の質問符号化器を組み合わせる。
- 追加学習後のLFRM-Lは、64更新でGSM8Kのpass@1が63.74％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Latent Flow Reasoning Modelsの仕組み
- 01質問文と初期雑音
- 02質問を小型器で符号化
- 03解答表現を反復更新
- 04全位置を文字へ変換
- 05解答文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
一般的な言語モデルは、解答を先頭から順に作る。連続拡散型の方法は、解答全体を数値の表現として置き、雑音から何度も更新して完成へ近づける。数学やコードでは、数字の正確さと途中の論理のつながりを同時に保つ必要がある。
そのため、文字に戻しやすい表現を選ぶだけでは十分とは限らない。質問の情報をどう渡すか、解答の各部分をどの順番で整えるかも、実用上の正答率に関わる。
手法
訓練では、教師となる言語モデルの複数層から正解解答に対応する内部表現を取り出し、幅を縮めてつなぐ。「潜在表現」は文字そのものではなく、解答を数値の並びで表すものだ。別のモデルは、雑音を加えた表現と質問を受け取り、正解の表現へ近づける変化を学ぶ。質問側は最初に教師の表現を使い、その後、小型の符号化器を合わせて共同で調整する。
推論時には質問を一度符号化し、雑音から始めて解答全体の表現を繰り返し更新し、最後に各位置を文字へ戻す。層由来の表現ごとに更新の進み方を変えても、同じ更新回で一緒に計算できる。例えば算数の文章題なら、質問を条件として解答全体を整え、最後に式と答えを出す。さらに正解解答と正誤の報酬を使った追加学習も行う。
新規性
LFRMの要点は、強い教師モデルの複数層から解答の小さな表現を学び、連続拡散による推論に使う一連の方法を示した点にある。著者は、元の単語を正しく復元しやすい表現でも、推論問題で良い解答を生成できるとは限らないと実験で示す。
層ごとに更新速度を変える生成法、教師モデルを推論時に置き換える小型の質問符号化器、正解解答を補助に使う追加学習も組み合わせる。
従来手法との違い
比較の中心は、近い規模の連続拡散型言語モデルの既報結果と、LFRM内部で表現や更新速度を変えた実験である。教師モデルの最終層だけを圧縮した表現は単語復元率が高かったが、算数問題の正答率は低かった。複数層を使い、教師の予測を保つよう表現を学ぶと結果が改善した。
ただし、既報モデルとの数値は学習条件を完全にそろえた比較とは限らない。自己回帰型など、方式の異なる大規模モデル全般に対して優れているという結論ではない。
実験結果
著者はGSM8KとMATH500の数学課題、HumanEvalとHumanEval+のコード課題で評価した。6億3800万パラメータの雑音除去モデルを使うLFRM-Lの追加学習後の正答率pass@1は、64更新でGSM8Kが63.74％、MATH500が24.6％、128更新でHumanEvalが32.85％、HumanEval+が30.18％だった。
表現選択の実験では、単一層の表現が保留データの単語復元率99.24％でもGSM8K正答率は11.20％だった。複数層を使う設定は28.43％、教師の予測を保つよう学んだ表現は30.76％と著者は報告する。これらは指定された学習期間の比較であり、最終成績とは条件が異なる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：プログラム作成支援で、短い仕様文から関数の実装候補を生成する。入力は関数の要件と入出力例、出力はコード全文とする。候補を生成後、用意したテストで実行結果を確かめ、通過したものだけを開発者の確認に回す。
LFRMを使う狙いは、コード全体を潜在表現の中で段階的に更新する方法が、この仕様に合うかを見ることにある。論文のHumanEval系の結果は研究用課題であり、社内の複雑なコードベースでの有効性は別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：短い数学問題か関数生成の一方を選び、問題文と正解判定を固定した小規模な評価集合を用意する。既存の逐次生成モデルを基準に、LFRMは同じ問題で一回生成の正答率を測る。
更新回数ごとの正答率、生成にかかる時間、無効な出力の割合を記録し、同じ問題を複数回解いたときのばらつきも見る。特に数字の取り違えや、途中の説明と最終答えの矛盾を分類する。研究用課題の正答率だけで採否を決めず、対象業務で必要な正確さと応答時間を確認する。
限界と課題
著者は、更新速度を層ごとに変えたときの改善を示す一方、その改善が起こる仕組みを確立したとは述べていない。教師の複数層から解答表現を作る訓練と、正解解答を加える追加学習も必要で、報告された成績はその手順に結び付いている。
編集上は、質問を長くした場合や答えの長さが変わる場合の挙動、生成時間と品質の釣り合い、複数回生成したときのばらつきを確認したい。論文で使う計算回数はノイズ除去の呼び出し数であり、質問の符号化と最後の文字列化は含まない。
出典
元のタイトル・要旨を確認する（英語）
Reasoning with Continuous Latent Diffusion
Continuous diffusion generates complete reasoning solutions through iterative refinement in latent space. We introduce Latent Flow Reasoning Models (LFRMs), an ELF-based training and inference recipe. Our experiments show that accurate decoding alone does not ensure strong reasoning performance. We therefore learn compact representations from multiple layers of a strong autoregressive teacher. Their decomposition also enables asynchronous denoising at different rates. We show that prompt encodings need only preserve the information required for the correct text-conditional score, rather than exactly match teacher features, and use a staged curriculum to learn a compact prompt encoder that replaces the teacher Transformer at inference. We adapt DiffusionNFT to learned self-conditioning guidance and incorporate gold-solution endpoints to supplement sparse rewards. Our supervised models outperform reported results from recent continuous-diffusion baselines at comparable backbone scales on mathematical reasoning and HumanEval code generation. With a 638M-parameter denoising backbone and learned prompt conditioning, post-NFT LFRM-L achieves 63.74% pass@1 on GSM8K and 24.6% on MATH500 at 64 denoising steps, and 32.85% on HumanEval and 30.18% on HumanEval+ at 128 denoising steps. Code will be available at: https://github.com/chengxiang/LFRM
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29