アーカイブ / LLM
長い推論から参照すべき内容を選び、保存量を抑えるDynTS
Dynamic Thinking-Token Selection (DynTS)
Dynamic Thinking-Token Selection (DynTS)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Importance scores of question tokens and thinking tokens in a reasoning trace, computed based on attention contributions to the answer. Darker colors indicate higher importance. The red dashed line shows the mean importance score, and the annotated ratio indicates the fraction of tokens with importance above the mean.
概要
- DynTSは生成中に推論トークンの重要度を予測し、質問・直近部分・重要と予測した過去の推論をKVキャッシュに残す。
- 著者らの六課題平均Pass@1はR1-Llamaで61.9%、R1-Qwenで65.3%。全保存方式はそれぞれ61.6%、65.5%だった。
- 業務への適用には、正答ラベル付きの対象問題と生成例を用意し、全保存方式と精度・生成時間・最大保存量を比較する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Dynamic Thinking-Token Selection (DynTS)の仕組み
- 01数学の質問
- 02推論を生成
- 03重要度で保存対象を選別
- 04最終回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DynTSは、言語モデルが最終回答までに書き出す長い推論から、後で参照する内容を選んで保存量を抑える方法である。トークンとは文章を処理する細かな単位を指す。推論が長くなると、過去の内容を参照するための保存領域と計算量が増える。
一方で、古い内容を一律に捨てると、回答に必要な手掛かりも失い得る。著者らは、質問と直近の文脈を保ちながら、回答に関わる過去の推論を見分ける課題に取り組んだ。
手法
学習では、モデルに問題を解かせ、正答した完全な生成例だけを使う。最終回答が各推論トークンをどれほど参照したかを「注意」という重みから集計し、その値を予測する小さな仕組みをモデルの最終層に付ける。モデル本体は固定し、予測器だけを学習する。例えば数学の問題なら、完成した回答から途中の式への参照度が学習の手本になる。
実行時には、生成中の推論トークンに予測値を付ける。KVキャッシュは過去の内容を再計算せず参照するための保存データである。保存上限に達すると、質問と直近のトークンを残し、古い推論から予測値の高いものを選んで、ほかの保存データを削除する。その後も同じ手順で回答の生成を続ける。
新規性
著者らの提案は、最終回答を生成する前に、推論中の各トークンが回答に関わる度合いを予測して保存対象を選ぶ点にある。学習時には、完成した回答から推論への注意の重みを教師信号に使う。
実行時には質問、重要度の高い過去の推論、直近の内容をそれぞれ保持する。回答後にしか計算できない重要度を、生成中の選別に使える形へ変えた。
従来手法との違い
比較対象は、過去の内容をすべて保存する標準のTransformerと、StreamingLLM、H2O、SnapKV、R-KVなどのKVキャッシュ圧縮法である。著者らは圧縮法の最大保存量と追加トークン量をそろえ、六つの課題で比較した。
六課題平均のPass@1は、R1-LlamaでDynTSが61.9%、圧縮法で次点のR-KVが59.6%、全保存が61.6%だった。R1-Qwenでは順に65.3%、次点のSnapKVが63.2%、全保存が65.5%だった。差はこの評価条件での結果である。
実験結果
著者らはDeepSeek-R1-Distill-Llama-8BとDeepSeek-R1-Distill-Qwen-7Bで、数学五課題と科学質問のGPQA-Dを評価した。予測器はMATHの訓練データで学習した。各問題につき五回生成し、一回の回答で正答する割合を示すPass@1の平均を報告している。
六課題平均のPass@1は、R1-LlamaでDynTS 61.9%、全保存61.6%、R1-Qwenで65.3%、全保存65.5%だった。表の平均生成速度は順に毎秒489.8対258.6トークン、688.1対424.7トークンである。DynTSの保存上限は難しい四課題で5,000トークン、残る二課題で3,000トークンに設定された。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：数式を含む社内の技術問い合わせで、長い推論を行うモデルの保存量を抑えられるか試す。入力は担当者が作成した計算問題と前提条件、出力はモデルの最終回答とし、確定した正答と照合する。
必要なデータは対象業務の問題、正答ラベル、対象モデルが生成した推論と最終回答である。正答した生成例から対象モデル用の重要度予測器を学習する。追加センサーは使わない想定だが、公開の数学・科学課題での結果が社内の問題にも当てはまるかは未確認である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正答が確定した社内の数式問題を集め、問題文、正答ラベル、対象モデルが生成した推論と最終回答を保存する。正答した完全な生成例から、対象モデル用の重要度予測器を学習し、質問・直近部分の保持と保存上限を設定する。追加センサーは使わない。
同じ問題と生成条件で、全保存方式とDynTSを比較する。正答率、回答一件当たりの生成時間、最大KVキャッシュ使用量を記録し、推論の長さ別にも見る。短い推論で予測器の追加計算を回収できるかを測り、精度の差と合わせて採用を判断する。
限界と課題
著者らは、重要度予測器をMATHの訓練データで学習し、数学的推論を中心に扱うと明記している。確認できた本文の範囲では、社内文書を使う問い合わせや一般的な業務質問での精度・効率は報告されていない。
編集上の検証事項は、対象業務で正答例を集められるか、対象モデルに予測器を組み込めるか、短い推論でも追加計算を上回る効果があるか、である。また、回答からの注意の強さが、人にとって説明上重要な箇所と一致するかは別に確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Dynamic Thinking-Token Selection for Efficient Reasoning in Large Reasoning Models
Large Reasoning Models (LRMs) excel at solving complex problems by explicitly generating a reasoning trace before deriving the final answer. However, these extended generations incur substantial memory footprint and computational overhead, bottlenecking LRMs' efficiency. This work uses attention maps to analyze the influence of reasoning traces and uncover an interesting phenomenon: only some decision-critical tokens in a reasoning trace steer the model toward the final answer, while the remaining tokens contribute negligibly. Building on this observation, we propose Dynamic Thinking-Token Selection (DynTS). This method identifies decision-critical tokens and retains only their associated Key-Value (KV) cache states during inference, evicting the remaining redundant entries to optimize efficiency.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01