アーカイブ / LLM
推論途中の語彙計算を小さな射影器に置き換えるSoft Latent Thinking
Soft Latent Thinking
Soft Latent Thinkingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Cumulative distribution of token frequencies on mathematical reasoning data. A small subset of tokens covers most occurrences: the top 5000 tokens account for almost 99% of the distribution.
概要
- 推論中は語彙全体の出力層を小さな射影器に置き換え、最終回答は通常の文字列として生成する。
- 数学5集合の平均pass@32は、評価した二つのモデルでSofT-GRPOを上回った。
- 平均@1は両モデルでSofT-GRPOを下回り、数学向け射影器ではコード生成の性能低下が報告された。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Soft Latent Thinkingの仕組み
- 01数学問題
- 02隠れ状態を射影
- 03数値表現を反復
- 04最終回答を生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
言語モデルの段階的な推論では、答えを出す前の各段階でも、大量の語彙に対して次の語の確率を計算する。推論が長くなるほど、この処理が積み重なる。
途中の考えを連続した数値表現で扱う「ソフト思考」でも、従来法には語彙全体の計算が残っていた。本研究はそこを置き換え、数学問題で複数の回答を生成したときの正答率と処理量を調べる。
手法
問題文を入力すると、モデルは推論途中の情報を「隠れ状態」という数値の列で持つ。射影器はそれを少数の候補の確率に変え、乱数を加えて混合比を決める。その比率から作った「埋め込み」という数値表現を次の段階に渡し、推論を続ける。例えば数学の解を求める途中は、読める文章ではなく数値表現として進み、終了判定後に通常の語彙出力で答えを書く。
射影器の入力側は頻出語に対応する既存の出力層、出力側はその語の埋め込みから初期化し、両方を学習する。学習では複数の推論経路を作り、最終回答への報酬を候補群内で比べて更新する。これはGRPOという学習方法に沿う。実験では元のモデル本体を固定し、射影器と、既存の層に加える小さな調整部分であるLoRAを学習した。
新規性
著者らの提案は、推論中の隠れ状態を、語彙全体への射影を介さず、少数の学習可能な候補から次の数値表現へ直接変換する点にある。最終回答の文字列生成には通常の語彙出力を使う。
射影器は対象領域で頻出する語の表現から初期化するが、その後は元の表現から独立して学習する。中間状態を既存の語の表現の混合に限定しない設計である。
従来手法との違い
通常の段階的推論は、途中の考えを語彙から選んだ文字列として生成する。従来のソフト思考は中間状態を連続した数値で扱うが、各段階で語彙全体の確率を計算し、語の表現を混ぜていた。
比較対象のSofT-GRPOは、その確率に乱数を加えて推論経路を作り、最終回答への報酬で学習する。本手法はこの学習方法を引き継ぎ、推論中の確率計算を小さな射影器に移す。
実験結果
著者らはDeepScaleRで学習し、二つのモデルをAIME2024、AIME2025、AMC23、MATH-500、GSM8Kで評価した。pass@32は32回の回答中に一つでも正解がある割合で、表の値は100倍表示である。
5集合平均のpass@32は、DeepSeek-R1-Distill-Qwen-1.5Bで本手法86.22、SofT-GRPO 85.18、未調整モデル83.23。LLaMA-3.2-3B-Instructでは順に60.70、57.06、56.26だった。一方、32回の各回答の正答率を平均した@1は、両モデルともSofT-GRPOを下回った。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：数学教材の解答候補を複数作り、担当者が確認する作業に試す。入力は問題文、出力は文字列の最終回答とし、正解が分かっている問題で候補を検算してから採用する。
適応には、教材に近い数学問題と正解ラベルを学習用・評価用に分けて用意し、対象領域の文章から初期化に使う語の頻度を集計する。センサー入力は不要。候補の採用判断は担当者が行う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正解ラベル付きの教材に近い数学問題を学習用と評価用に分け、対象領域の文章から語の頻度を集計して射影器を初期化する。問題文以外のセンサー入力は不要で、射影器とモデルの調整部分を追加学習する。
同じ評価問題で、通常の段階的推論とSofT-GRPOを比較対象に置く。1回の正答率、32回までに正答を得る割合、生成量、処理時間を測る。候補数を増やした場合の費用と正答率を併記し、担当者による検算も続ける。
限界と課題
著者らは、数学領域で初期化した射影器をHumanEvalのコード生成に使うと性能が下がると報告する。Qwen3.5-9Bでの確認も、調整や比較を尽くしていない単一設定の予備実験としている。
編集上の検証事項は、教材の種類が変わった場合の正答率、推論終了の判定、複数回答を作る際の総処理時間である。要旨の「全てのkで改善」は掲載表の平均@1と一致せず、この表現を実測結果として一般化できない。
出典
元のタイトル・要旨を確認する（英語）
A Model with No Head and Many Thoughts
Large language models decode by projecting hidden states through a large vocabulary head at every step. This operation is computationally costly and forces all reasoning to be expressed in discrete tokens. We introduce Soft Latent Thinking, a method that replaces the LM head during reasoning with a lightweight projector, enabling autoregressive rollout in embedding space where reasoning steps remain continuous rather than tokenized. Experiments on DeepSeek-Qwen-1.5B and LLaMA-3.2-3B show that Soft Latent Thinking consistently improves pass@k across all k while reducing per-step compute during chain-of-thought. Our method achieves the highest pass@32 among all soft-thinking approaches, demonstrating that effective reasoning can be carried out in continuous space without discrete token generation.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01