アーカイブ / LLM
低確率の語を動的に除き、LLMの強化学習を安定させる手法
Dynamic Vocabulary Pruning
概要
- 著者らは、推論系と学習系で生じるトークンの対数確率のずれについて、低確率の語ほど上限が大きいと示した。
- DVPは生成位置ごとに極端な低確率の語を除き、残した語に対する強化学習の目標を定める。
- 数学的推論の実験で、著者らはMISとDVPの併用が語彙を絞らないRLOOの最高成績を26.55％上回ったと報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Dynamic Vocabulary Pruningの仕組み
- 01数学問題
- 02候補語を選別
- 03解答を生成
- 04報酬と確率で更新
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LLMの強化学習では、高速な推論系で回答を作り、別の学習系でその回答の確率を計算してモデルを更新する。同じ重みを使っても、計算順序や数値精度が異なれば、両系が割り当てる確率にずれが生じる。
回答は多数のトークンから成る。トークンとは、モデルが一度に選ぶ文字列の単位である。著者らは、選ばれた低確率のトークンで偏ったずれが生じ、回答全体に蓄積すると、更新量の推定が不安定になると説明する。
手法
Dynamic Vocabulary Pruning（DVP）は、次のトークンを選ぶ位置ごとに候補を絞る。min-pという規則で、最も確率が高いトークンの一定割合以上の確率を持つものだけを残し、その範囲で確率を割り振り直す。推論系と学習系はそれぞれの確率で選別するため、残る集合は位置や系によって変わる。
例えば数学問題では、推論系が絞った候補から解答を生成し、正誤に応じた報酬を得る。学習系も絞った候補の下で同じ解答の確率を計算する。両系の解答確率の比を使って更新量を調整するが、生成されたトークンが学習系の候補から外れていれば、その回答は更新に寄与しない。
新規性
著者らは、推論系と学習系の計算差を数値的なずれとしてモデル化し、語の対数確率のずれの上限が、その語の確率pに対する「1−p」に比例すると示した。低確率の語ほど大きなずれが許される、という診断である。
その診断を基に、生成位置ごとに極端な低確率の語を除いた方策を学習目標にした。元の目標との差にも上限を与え、語を除く代償を明示している。
従来手法との違い
比較の基準は、語彙を絞らないRLOOを使った数学的推論の学習である。著者らは、この設定では推論系と学習系のPPLの隔たりが大きくなり、学習が早期に崩れたと報告する。PPLは、モデルが文章に割り当てる確率から計算する指標である。
実験には、確率のずれに対処するトークン単位の重要度サンプリング手法TISとMISも含まれる。DVPは生成後の補正だけに頼らず、残す語を決めて学習目標を定める。MISとDVPを併用した結果も報告されている。
実験結果
著者らは数学的推論で評価した。学習データはフィルタ済みDAPO、評価対象はAIME25、基盤モデルはQwen3-14B-Base、基本の学習法はRLOOである。生成バッチと小更新の単位はいずれも32、最大回答長は16,384トークン、グループサイズは16、min-pの閾値はeのマイナス13乗とした。
著者らによると、DVPでは学習中の推論系と学習系のPPLの隔たりが安定し、MISとの併用は語彙を絞らないRLOOの最高成績を26.55％上回った。AIME25の成績はavg@16で報告される。確認できた本文の範囲では、図に示された各方式の絶対スコアや反復ごとの値は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の計算手順を文章で説明するLLMを、正答が確定した業務用の計算問題で追加学習する。入力は問題文、出力は計算過程と最終回答とし、正答との照合結果を報酬にする。
元データとして業務を模した問題文と正答を用意し、正誤を報酬ラベルにする。文章だけを扱うため追加センサーは不要で、既存の回答生成・更新手順にDVPの語彙制限を組み込む。実務上の正答率や説明の読みやすさへの効果は未検証の仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正答を確認した業務用の計算問題を学習用と評価用に分け、問題文と正答を用意する。正誤を報酬ラベルとし、追加センサーは使わない。同じデータ分割と報酬で、既存のRLOOとDVPを加えた手順を比較する。
導入に合わせて閾値を設定し、各生成位置で残る語の確率の合計と、推論系・学習系の候補集合が食い違う頻度を記録する。評価用問題の正答率、更新に寄与しない回答の割合、学習中のPPLの隔たりを比べ、必要な記号や専門語が回答から消えないかも人手で確かめる。
限界と課題
著者らが示す代償は、語を除くと元の学習目標からずれることだ。その差の上限は、残した語の確率の合計、回答の長さ、報酬の上限で表される。また、推論系では残り、学習系では除かれた語を含む回答は、確率比がゼロとなり更新に寄与しない。
編集上の検証事項は、必要な専門語や数式記号が除かれないか、両系で残る語の集合がどれほど一致するか、計算負荷がどう変わるかである。確認できた本文の範囲では、数学的推論以外での成績は示されていない。
出典
元のタイトル・要旨を確認する（英語）
Dynamic Vocabulary Pruning: Stable LLM-RL by Taming the Tail
Reinforcement Learning (RL) for Large Language Models (LLMs) faces a fundamental tension: the numerical divergence between high-throughput inference engines and numerically precise training engines. Although these systems share the same parameters, they produce slightly different probability distributions, creating a training-inference mismatch. We prove that the bound on the log-probability divergence arising from this mismatch scales as $(1-p)$, where $p$ is the token probability. This scaling induces a highly asymmetric effect: the bound vanishes for high-probability tokens but remains significant for low-probability tokens in the distribution tail. When sampled, these tail tokens introduce systematically biased errors that accumulate over sequences, thereby destabilizing gradient estimation. Instead of applying post-hoc corrections, we propose Dynamic Vocabulary Pruning (DVP), which constrains the RL objective to a dynamically determined ''safe'' vocabulary that excludes the extreme tail. This strategy trades large, destabilizing numerical errors for a small, bounded optimization bias. We validate DVP empirically by demonstrating stable training, and theoretically by deriving strict bounds on the induced bias.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01