アーカイブ / LLM / AI Agent
複数モデルの討論記録で単一モデルを更新するDTE
Debate, Train, Evolve
Debate, Train, Evolveの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of the proposed Debate–Train–Evolve framework. Left — Debate : Several agents debate until they converge on a consensus (green ✓) or expose a wrong path (red ✗) . Centre — Train : we remove pure debate elements, keep the high-quality reasoning traces and consensus answer, and use them to fine-tune a single policy with GRPO. Right — Evolve : the evolved agent replaces its earlier self, so future inference require just one forward pass yet they outperform the committee on maths, science, and commonsense benchmarks.
概要
- DTEは複数モデルの討論記録で単一モデルを更新し、更新後は一つのモデルで回答する。
- 著者らの表1では、1回の更新後、GSM-Plusの成績が更新前の6モデル平均で8.92ポイント上がった。
- GSM8Kでは成績が下がったモデルもあり、業務への適用には誤答と既存能力の低下を測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Debate, Train, Evolveの仕組み
- 01問題文
- 023モデルで討論
- 03解答手順を抽出
- 04単一モデルを更新
- 05単一モデルで回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DTEは、複数の言語モデルに同じ問題を討論させ、その記録で一つのモデルを学習させる方法だ。著者らは、外部から正解を与えずに推論能力を改善する方法を検討している。
複数モデルの討論では異なる解き方を照らし合わせられるが、回答のたびに複数モデルを動かす必要がある。討論で得た手順を単一モデルに移せれば、回答時に動かすモデルを一つにできる。
手法
まず各モデルが同じ問題への答えと理由を出す。答えが割れた場合はRCR指示に従い、自分の答えの弱点を振り返り、他の2モデルの説明を批評する。答えを変えるには新しい推論手順を示す。全員が一致すれば討論を終え、上限まで一致しなければ多数決で最終回答を決める。
例えば数量の文章題では、問題文、討論の最終回答、抽出した解答手順が学習材料になる。手順の抽出では、複数モデルに現れた説明や新たな数式操作を残す。GRPOは候補回答への報酬でモデルを更新する手法で、ここでは討論の回答との一致、出力形式、長さを報酬に含める。更新したモデルを次の討論に戻す。
新規性
DTEが提案するのは、複数モデルの討論を回答時に使うだけでなく、その記録から一つのモデルを更新する方法だ。学習時に問題の正解ラベルを使わず、討論で得た最終回答と、抽出した解答手順を利用する。
討論にはReflect–Critique–Refine（RCR）という指示を加える。各モデルに自分の答えの弱点と他者の説明の欠点を示させ、答えを変える場合は新しい推論手順を求める。更新後のモデルは次の討論にも参加する。
従来手法との違い
比較対象は更新前の単一モデルと、回答のたびに3モデルを動かすRCR方式の討論である。DTEは討論記録でモデルを更新し、評価時には更新後の単一モデルで回答する。著者らは従来の討論指示とRCR指示の違いも調べている。
表1のGSM-Plusでは、6モデルすべてでDTE後の成績が更新前を上回る。一方、GSM8KではQwen-2.5-7Bが更新前を下回った。改善は、示されたすべてのモデルと課題に共通する結果ではない。
実験結果
著者らは6つの公開重みモデルについて、GSM8K、GSM-Plus、ARC-Challengeで、更新前の単一モデル、RCR指示による3モデルの討論、DTEを1回適用した単一モデルを比較した。GSM系の課題は答えの完全一致、多肢選択課題は正答率で評価している。
表1では、GSM-PlusのDTE後の成績は更新前より6モデル平均で8.92ポイント高い。Qwen-2.5-1.5Bは42.00％から55.92％に上がった。一方、GSM8KのQwen-2.5-7Bは90.67％から88.32％に下がった。これらは著者らが報告した条件での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製造現場で文章による部品数の計算依頼を扱う。入力は数量、歩留まり、納期を記した依頼文、出力は計算手順と必要部品数とし、担当者が発注前に確認する。この業務での効果は論文では検証されていない。
学習元には過去の依頼文を用意し、業務の計算規則に合わせて討論とモデル更新を行う。DTEの学習手順には正解ラベルを使わないが、効果を調べる評価用には担当者が確認した正解が必要だ。入力が文章だけならセンサーは想定しない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：過去の数量計算依頼を学習用と評価用に分ける。学習用の依頼文から複数モデルの討論記録を作り、単一モデルを更新する。評価用には担当者が正解数値と許容する計算手順を確認し、正解ラベルとして残す。
更新前の同じモデルを基準に、評価用依頼で数値の完全一致率、誤答の種類、回答時間を比べる。更新前に正解した問題の悪化も数える。文章入力だけを対象とするためセンサーは想定せず、業務用語と計算規則に合う依頼文の選定や回答の確認方法を調整する。
限界と課題
著者らは、討論中にモデルが正しい答えを捨てて他者の誤答に同調する例や、小型モデルで更新を重ねると成績が落ちる例を報告している。後者については、討論時の出力のばらつきと、元のモデルからの振る舞いのずれを分析している。
編集上の検証事項は、誤った最終回答が学習に使われる頻度と、更新前に解けた問題での成績低下だ。評価課題数は入力のabstractで7、確認できた本文の範囲では5と記され、一致しない。業務での運用結果は示されていない。
出典
元のタイトル・要旨を確認する（英語）
DEBATE, TRAIN, EVOLVE: Self Evolution of Language Model Reasoning
Large language models (LLMs) have improved significantly in their reasoning through extensive training on massive datasets. However, relying solely on additional data for improvement is becoming increasingly impractical, highlighting the need for models to autonomously enhance their reasoning without external supervision. In this paper, we propose Debate, Train, Evolve (DTE), a novel ground truth-free training framework that uses multi-agent debate traces to evolve a single language model. We also introduce a new prompting strategy Reflect-Critique-Refine, to improve debate quality by explicitly instructing agents to critique and refine their reasoning. Extensive evaluations on seven reasoning benchmarks with six open-weight models show that our DTE framework achieve substantial improvements, with an average accuracy gain of 8.92% on the challenging GSM-PLUS dataset. Furthermore, we observe strong cross-domain generalization, with an average accuracy gain of 5.8% on all other benchmarks, suggesting that our method captures general reasoning capabilities. Our framework code and trained models are publicly available at https://github.com/ctrl-gaurav/Debate-Train-Evolve
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01