アーカイブ / LLM
LLMの学習で回答生成回数を問題ごとに変えるCoBA-RL
CoBA-RL
CoBA-RLの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Comparison between GRPO-based methods and CoBA-RL. (a) GRPO employs a uniform strategy independent of training progress. (b) CoBA-RL dynamically self-calibrates the allocation strategy throughout the training process. It autonomously directs the rollout budget toward instances with high training value, aligned with the model’s evolving capability. In this visualization, p i p_{i} denotes the pass rate corresponding to the task instance x i x_{i} .
概要
- CoBA-RLは、問題ごとの正答率と問題群全体の失敗率を使い、学習中の回答生成回数を配分する。
- 著者らの数学課題評価では、Qwen2.5-7B-Instructの五課題平均avg@16がCoBA-RLで46.78%、GRPOで42.24%だった。
- コード修正への応用には、正誤を判定できる課題を用意し、同じ総生成回数で成績と学習時間を比較する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CoBA-RLの仕組み
- 01問題群と正答率
- 02全体失敗率を算出
- 03追加生成の価値を計算
- 04問題別の生成回数
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CoBA-RLは、LLMの追加学習で、問題ごとの回答生成回数を調整する手法だ。回答の正誤を報酬として使う強化学習では、同じ問題に複数の回答を生成する。この一回ずつの生成をロールアウトと呼ぶ。
GRPOという既存手法は、各問題に同じ回数のロールアウトを割り当てる。学習中にモデルが解ける問題の範囲が変われば、追加生成をどの問題へ回すかも見直す必要がある、というのが著者らの着眼点だ。
手法
CoBA-RLは、各問題の正答率と、その問題群の平均正答率から求める全体失敗率を使う。過去の失敗率の移動平均を基に、正答率ごとの優先度を表すベータ分布の形を変える。ベータ分布は、0から1までの値に対する重みの置き方を表せる関数で、学習中に重視する問題の正答率帯を変える役割を持つ。
次に、ある問題の生成回数を一回増やした場合の価値の増分を計算する。ヒープという優先度の高い項目を取り出せる仕組みを使い、総生成回数と各問題の上下限を守りながら配分する。例えば計算問題の群では、その時点の正答率と全体失敗率に応じて各問の生成回数が決まり、生成した回答の正誤が学習に使われる。
新規性
CoBA-RLは、各問題の正答率だけでなく、学習中の問題群全体の失敗率を使って、回答生成の配分基準を更新する。失敗が多い段階では正答率の高い問題を重視し、成績が上がるにつれて難しい問題へ重点を移す設計だ。
著者らは、定義した価値関数では追加生成による価値の増分が小さくなるとし、その性質を使って、増分の大きい順に生成枠を割り当てる方法を示す。
従来手法との違い
GRPOは各問題に同じ回数の回答生成を割り当てる。比較対象のKnapsack-RLは問題単位の指標に基づいて配分する手法で、CoBA-RLは問題群全体の失敗率も配分基準に反映する。
著者らは、価値関数の形を固定した二つの方法と、学習の進行に合わせて形を段階的に変える方法も比較した。CoBA-RLでは、その時点の問題群の成績から基準を更新するため、優先する正答率帯が学習中に変わる。
実験結果
著者らはDAPO-Math-17KでQwen2.5-7BのBaseとInstruct、Qwen3の1.7Bと4BのBaseを学習・評価した。評価先はAIME24、AIME25、AMC23、MATH500、OLYMPIAD Benchの五つで、報告指標はavg@16である。
Qwen2.5-7B-Instructの五課題平均はCoBA-RLが46.78%、GRPOが42.24%、Knapsack-RLが45.39%だったと著者らは報告する。別の配分処理時間の比較では、問題数512、総生成予算8192でヒープ方式が0.124秒、動的計画法が115.05秒だった。後者は学習全体の時間ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：単体テストで正誤を判定できる社内のコード修正課題を使い、開発支援モデルの追加学習を試す。入力は課題文とテスト、出力は修正案と課題ごとの回答生成回数の記録とする。
学習用には課題、正誤を判定するテスト、生成結果ごとの成否記録が必要だ。センサーは使わない。数学の正誤判定をテスト結果による判定に置き換える適応が要り、コード修正でも有効かは検証対象となる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：単体テストで成否を判定できるコード修正課題を集め、学習用と未使用の評価用に分ける。必要なのは課題文、正誤判定用テスト、生成結果ごとの成否記録であり、センサーは使わない。数学問題向けの判定をテスト結果へ置き換える適応を行う。
同じモデル、課題群、総回答生成回数で、一律配分のGRPOとCoBA-RLを比較する。評価用課題のテスト通過率に加え、生成総数、配分処理時間、学習全体の時間を測る。学習段階ごとの全体失敗率と配分回数も記録し、配分の変化を確認する。
限界と課題
確認できた本文の範囲では、著者らが明示した限界の記述はない。性能比較の中心は数学問題であり、その数値をコード修正など別分野の効果に当てはめることはできない。価値関数の性質に関する証明は付録を参照する形だが、付録の内容は確認できていない。
編集上の検証事項は、正誤判定の信頼性、問題群の構成が全体失敗率に与える影響、配分処理を含む学習全体の時間である。導入前には評価用課題の分け方と、試行ごとの成績のばらつきも確かめたい。
出典
元のタイトル・要旨を確認する（英語）
CoBA-RL: Capability-Oriented Budget Allocation for Reinforcement Learning in LLMs
Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a key approach for enhancing LLM reasoning. However, standard frameworks like Group Relative Policy Optimization (GRPO) typically employ a uniform rollout budget, leading to resource inefficiency. Moreover, existing adaptive methods often rely on instance-level metrics, such as task pass rates, failing to capture the model's dynamic learning state. To address these limitations, we propose CoBA-RL, a reinforcement learning algorithm designed to adaptively allocate rollout budgets based on the model's evolving capability. Specifically, CoBA-RL utilizes a Capability-Oriented Value function to map tasks to their potential training gains and employs a heap-based greedy strategy to efficiently self-calibrate the distribution of computational resources to samples with high training value. Extensive experiments demonstrate that our approach effectively orchestrates the trade-off between exploration and exploitation, delivering consistent generalization improvements across multiple challenging benchmarks. These findings underscore that quantifying sample training value and optimizing budget allocation are pivotal for advancing LLM post-training efficiency.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01