アーカイブ / LLM
同じ問題の解答長の偏りを抑え、LLMの強化学習を速めるDARTS
DARTS
DARTSの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 4 : Illustration of DARTS method: adaptive sampling strategies and redundancy allocations for different prompts ( M = 8 M=8 ).
概要
- DARTSは同じ問題から余分に解答を生成し、短い解答を主に選びながら長い解答も少数残して学習する。
- 過去の解答長のばらつきに応じて、問題ごとの候補生成数を配分する。
- 著者らは学習全体で最大1.77倍の高速化とモデル性能の維持を報告するが、確認できた本文には個別条件の結果表がない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DARTSの仕組み
- 01問題文
- 02候補数を配分
- 03複数解答を生成
- 04長短から選抜
- 05学習用解答群
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LLMの強化学習では、問題への解答を生成して採点し、その結果でモデルを更新する。解答を生成する段階をロールアウトと呼ぶ。著者らは、この段階が学習時間の70％超を占め、少数の非常に長い解答が一括処理の完了を遅らせると説明する。
著者らの観察では、同じ問題でも解答の長さに大きな差がある。長い解答には無駄な反復がある一方、難しい問題では長い推論が正答につながる場合もある。必要な解答を残しながら、生成と学習にかかる時間を抑えることが課題となる。
手法
DARTSは各問題について、学習に使う数以上の解答を候補として生成する。例えば一つの数学問題から得た候補を長さ順に並べ、短いものを主に選びつつ、長いものも少数残す。生成上限に達して未完成となった解答は、長い側の選択から外す。選んだ解答は採点し、同じ問題の解答群の中で採点結果を比べてモデルの更新に使う。
問題ごとの候補数は、過去の解答長の分散、つまり長さのばらつきを移動平均でならした値を手掛かりに配分する。ばらつきの大きい問題に多く割り当てる設計で、問題を冗長型か難問型かに明示的に分類するわけではない。著者らは生成を早く止める処理と、生成した語を順次後段へ渡す処理も挙げているが、詳細は確認できた本文の範囲外である。
新規性
DARTSは、問題ごとの長さの違いに加え、同じ問題から生成した解答の間にも長い側への偏りがある点に着目する。余分に生成した候補から短い解答を主に選び、長い解答も少数残して学習に使う。
さらに、過去の解答長のばらつきに応じて問題ごとの候補数を変える。著者らは生成を早く止める処理と、生成した語を順次後段へ渡す処理も提案するが、その実装効果の内訳は確認できた本文の範囲では分からない。
従来手法との違い
通常のGRPOでは、各問題から決められた数の解答を生成し、採点結果を同じ問題の解答群の中で比較してモデルを更新する。本文で挙げる既存の長文対策は、問題を多めに投入し、生成に時間がかかる問題を後の処理へ回す方式である。
DARTSは一つの問題から余分に解答を生成し、その中から学習用の解答群を選ぶ。問題の処理順を調整する方式との違いは、同じ問題内で学習に使う解答長の構成を変える点にある。両方式の条件別の優劣は、この本文だけでは確かめられない。
実験結果
著者らは、複数の強化学習アルゴリズムとデータセットを用いた実験で、比較対象のシステムに対して学習全体が最大1.77倍速くなり、モデル性能も損なわなかったと報告する。これは報告された最大値であり、各条件の平均値を示すものではない。
本文には、Qwen3-30B-A3BとDAPO-MATHでの解答長の分布、Qwen2.5-Math-7BとDAPO-MATHでの長さの分散を示す図の説明がある。確認できた本文の範囲では、高速化を測った個別のデータセット、比較対象、性能指標と測定条件を示す表はなく、図の条件をそのまま高速化の条件とは扱えない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の数理問題を解くLLMの追加学習に使う。入力には利用許可を得た問題文、学習用の教師情報には各問題の正答と解答を採点する規則が必要である。文字の問題を扱う想定で、追加センサーは使わない。
既存の強化学習手順に候補解答の追加生成と長さによる選択を組み込み、問題ごとの過去の解答長も記録する。出力は更新したモデルと学習時間の記録である。社内の問題で時間と正答率がどう変わるかは、実測して判断する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正答と採点規則を用意できる自社の数理問題を集め、通常の固定数の解答生成による強化学習を基準にする。入力は問題文、必要なラベルは正答判定であり、追加センサーは使わない。まず問題ごとの解答長と正誤を記録する。
次に既存の学習手順へ候補数の配分と長短の選択を組み込み、同じ問題群で学習全体の時間、生成した解答量、未使用候補の割合を比較する。別に確保した問題で正答率と解答長も測り、難問での性能を含めて採用可否を判断する。
限界と課題
著者らは、長い解答には冗長で効果の乏しいものと、正答に必要な推論を含むものがあると分析する。また、候補を増やしすぎると生成費用が増え、少なすぎると選択の効果が弱まると説明している。
編集上の検証事項は、追加生成の費用が時間短縮を打ち消さないか、短い解答を主に選んでも難問の正答率を保てるかである。確認できた本文の範囲では、1.77倍の高速化に対応する個別条件や性能指標の表がなく、導入先での効果は判断できない。
出典
元のタイトル・要旨を確認する（英語）
DARTS: Distribution-Aware Active Rollout Trajectory Shaping for Accelerating LLM Reinforcement Learning
Reinforcement Learning (RL) has become pivotal for improving model capabilities yet suffers from rollout efficiency bottlenecks due to the long-tail response length distribution. While existing works mitigate the impact of long tails via prompt-level tail scheduling, we focus on the root source of inefficiency: the distribution itself. Specifically, we characterize the long-tail distribution at a finer granularity, identifying intra-prompt long tails, and revealing that they frequently consist of ineffective verbosity. To address this, we propose a novel paradigm of active distribution shaping to shape the rollout distribution towards conciseness and certainty, thereby fundamentally resolving tail-induced overheads. We achieve this through a distribution-aware trajectory sampling mechanism, which selects trajectories from a redundant exploration space for each prompt, and an adaptive redundancy allocation scheme to maximize both shaping effectiveness and system efficiency. Experiments demonstrate significant acceleration over state-of-the-art systems by up to 1.77x without compromising model performance.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01