アーカイブ / LLM
文書から難度別の問題を作り、言語モデルを学習させるDARC
DARC
DARCの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Comparison between DARC and previous coupled self-play methods.
概要
- DARCは文書と指定難度から問題を作り、問題作成モデルを固定してから解答モデルを学習させる。
- 文書を読める教師役の多数決で学習用の正解候補を作り、文書を見ない生徒役に教える。
- 著者らは三つの基盤モデルと計9課題で、基盤モデルからの総合平均の改善幅を平均10.9ポイントと報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DARCの仕組み
- 01外部文書・難度指定
- 02文書に沿う問題
- 03文書付き回答の多数決
- 04問題のみで学習
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DARCは、外部文書から難度を指定した問題を作り、その問題で大規模言語モデルの解答能力を学習させる方法である。問題を作る側と解く側を互いの成績に応じて更新する自己対戦では、解く側が変わるたびに問題作成の目標も動く。
加えて、モデル自身が作った正解候補に誤りがあると、解く側はその誤りを学びかねない。人手の正解ラベルに頼らず、文書に基づく問題と学習用の正解候補をどう安定して用意するかが課題となる。
手法
まず、文書と目標難度を問題作成モデルに渡す。例えば技術文書から難度を指定して質問を作り、別の言語モデルが文書に根拠があるか判定する。根拠がある質問は、固定した基盤モデルの複数回答が正解候補と一致する割合で難度を見積もり、指定難度に近づくよう問題作成モデルを学習させる。
次に問題作成モデルを固定し、生成した問題を指定難度に沿って易しい順に並べる。文書を読める教師役に各問題を複数回解かせ、多数決で「擬似ラベル」という学習用の正解候補を作り、回答の一致が低い問題は除く。教師役と重みを共有する生徒役は文書を見ず、問題だけから正解候補に合う回答を学ぶ。
新規性
DARCの特徴は、問題作成モデルの学習を終えてから問題群を作り、解答モデルの学習中は問題作成モデルを更新しない点にある。問題の難度を、変化し続ける解答モデルの成績に合わせて調整する必要を減らす。
さらに、出典文書を読める教師役の複数回答から学習用の正解候補を作り、文書を読まない生徒役を学習させる。著者らは、この二段階で学習目標の変動と、誤った正解候補が繰り返し使われる問題を抑えると説明する。
従来手法との違い
比較対象には、未調整の基盤モデルと、R-Zero、Absolute Zero、SPICEなどの自己学習手法がある。SPICEは文書を使う自己対戦手法で、著者らはDARCと同じプロンプト・文書群で再現したと記す。一方、ほかの比較値は先行研究から取得している。
表の総合平均では、DARCは三つの基盤モデルすべてで、これら人手の正解ラベルを使わない手法を上回る。約2,300件の人手ラベルを使うR-Fewや、教師あり学習を行うGeneral-Reasonerは学習条件が異なるため、同じ条件での比較とは読めない。
実験結果
著者らはQwen3-4B-Base、Qwen3-8B-Base、OctoThinker-8B-Hybrid-Baseを、数学5課題と一般推論4課題で評価した。表の総合平均は、各基盤モデルからDARC適用後に41.9％→52.2％、49.9％→56.3％、24.6％→40.6％となる。著者らが報告する改善幅の平均は10.9ポイントである。
数学課題はGPT-4oによる自動判定、一般推論課題は貪欲復号による完全一致判定を用いた。表では三つの基盤モデルすべてで、DARCの総合平均がラベルなしの比較手法を上回る。著者らは、難度順の学習で検証用の報酬も上昇したと報告している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：版を固定した社内の技術手順書から、新人向け確認問題に答えるモデルを試作する。入力となる学習元データは承認済み手順書と難度指定、出力は手順書に基づく問題と、問題だけを見て答えるモデルの回答である。
学習用の人手正解ラベルやセンサーは用いず、文書付きの複数回答から正解候補を作る。社内用語に合わせて問題作成モデルと解答モデルを調整する必要がある。手順書に根拠のある問題を作れるか、回答を業務で使えるかは別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一種類の社内手順書に対象を絞り、版を固定した文書を学習元データにする。文書と難度指定から問題を作り、文書付きの複数回答から学習用の正解候補を付ける。学習用の人手正解ラベルとセンサーは使わず、社内用語に合わせて問題作成モデルと解答モデルを調整する。
比較対象は同じ基盤モデルの未調整版とし、学習に使わず保管した文書の問題で評価する。評価用の正解ラベルは担当者が確認し、正答率、文書に根拠のない問題の割合、難度別の正答率を測る。文書を改訂した後も再評価し、誤答の内容を確認する。
限界と課題
著者らは、文書を与えた回答の優位が長い文書では弱まると報告する。5,000トークン超の条件では、文書付き回答と問題のみの回答を比べた勝率が下がり、余分な情報が正解候補の質を損なう可能性を挙げている。
編集上の検証事項は、文書の改訂後も正しく答えられるか、多数決で選ばれた誤答が学習に残らないかである。確認できた本文の範囲では、学習文書の選別やデータ分割の詳細を十分に確認できない。報告値を社内手順書での見込み値にはできない。
出典
元のタイトル・要旨を確認する（英語）
DARC: Decoupled Asymmetric Reasoning Curriculum for LLM Evolution
Self-play with large language models has emerged as a promising paradigm for achieving self-improving artificial intelligence. However, existing self-play frameworks often suffer from optimization instability, due to (i) non-stationary objectives induced by solver-dependent reward feedback for the Questioner, and (ii) bootstrapping errors from self-generated pseudo-labels used to supervise the Solver. To mitigate these challenges, we introduce DARC (Decoupled Asymmetric Reasoning Curriculum), a two-stage framework that stabilizes the self-evolution process. First, we train the Questioner to synthesize difficulty-calibrated questions, conditioned on explicit difficulty levels and external corpora. Second, we train the Solver with an asymmetric self-distillation mechanism, where a document-augmented teacher generates high-quality pseudo-labels to supervise the student Solver that lacks document access. Empirical results demonstrate that DARC is model-agnostic, yielding an average improvement of 10.9 points across nine reasoning benchmarks and three backbone models. Moreover, DARC consistently outperforms all baselines and approaches the performance of fully supervised models without relying on human annotations. The code is available at https://github.com/RUCBM/DARC.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01