アーカイブ / LLM
解答を批評してから解き直すLLM：Double-Checkerの学習と評価
Double-Checker
Double-Checkerの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Double-Checker correctly solves a math problem in AIME24 leveraging self-critique, while DeepSeek-Distill-Qwen-7B still gets the same wrong answer under a self-critical probe.
概要
- 著者らは、直接解く例と批評して解き直す例を合わせた計1,730件で、長い推論を行うモデルを追加学習した。
- 推論時は前回の解答要約を批評し、正しいと自己判断するか、設定した反復上限に達するまで解き直す。
- 著者らの表1では、7BモデルのAIME24は基盤モデル56.7％に対し66.4％、GPQAは20.7％に対し44.4％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Double-Checkerの仕組み
- 01問題文
- 02初回解答と要約
- 03要約への批評
- 04解き直し
- 05最終解答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
長い推論過程を生成する大規模言語モデルでも、最初の解答の誤りを具体的に指摘し、修正につなげられるとは限らない。著者らは、解答中に振り返るような記述が現れることと、有効な自己批評ができることを区別して調べた。
数学のように複数の手順を踏む問題では、途中の誤りが最終答えに影響する。誤りの箇所と直し方を示す批評があれば、解答を維持するか解き直すかを決める材料になる。
手法
学習用データは正解付きの問題から作る。教師モデルの初回解答を正解と照合し、その正誤を指示に含めて、別の役割のモデルに分析、修正案、正誤判断からなる批評を作らせる。初回が誤答なら批評を使って解き直し、正解に達した例を採用する。正答への批評例も集め、直接解く例と合わせた計1,730件で基盤モデルを追加学習する。
利用時は、問題から初回の推論と答えを含む要約を作る。次に問題と前回の要約を同じモデルへ渡し、批評と修正版を生成する。例えば数学問題の計算結果を批評し、誤りと判断すれば解き直す。要約は長い推論を短く引き継ぐ文章である。前回の答えを正しいと判断した場合は前回の要約を返し、そうでなければ設定した回数まで繰り返す。
新規性
Double-Checkerは、長い推論を行う一つのモデルに、直接解答する方法と、前回の解答を批評して修正する方法を合わせて学習させる。批評には解答の分析、具体的な修正案、正誤判断を含める。
推論時は前回の要約を次の入力に使い、正しいと自己判断するか、反復の上限に達するまで処理する。著者らの主張する進歩は、批評を文章として出すだけでなく、解き直しに使えるようにした点にある。
従来手法との違い
基盤モデルはDeepSeek-R1-Distill-Qwen系で、問題から直接解答する。著者らは、同じ学習用問題を使いながら批評を学ばせない通常の教師あり追加学習も比較した。教師あり追加学習とは、用意した入出力例に合わせてモデルを調整する方法を指す。
表1の7BモデルによるAIME24では、基盤モデル56.7％、通常の追加学習57.1％、Double-Checker66.4％だった。ただし最後の設定には批評を含む学習と推論時の反復がともに入る。表1の差だけから、どちらが何ポイント寄与したかは決められない。
実験結果
著者らは7Bと32Bのモデルを、数学のAIME24、AIME25、MATH500、OlympiadBenchと、分野横断のGPQAで評価した。30問のAIME24とAIME25では温度0.6で16回生成してpass@1を推定し、残りは貪欲復号を用いた。反復上限は7Bで3回、32Bで1回だった。
表1では、7BのAIME24は基盤モデル56.7％からDouble-Checker66.4％、GPQAは20.7％から44.4％になった。一方、要旨のAIMEに関する「4.4％から18.2％」は表1の対応する数値を特定できず、本文の32B・AIME25に関する「18.2％改善」も表の54.4％から68.6％への差と一致しない。ここでは表1の値を採用する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の計算手順書に載せる練習問題の解答案を点検する。問題文と既存の解答例を入力し、計算過程への批評と修正案を出力する。担当者が元の正答と照合して掲載を判断する。
適用には、正答を確認できる社内問題、正解ラベル、誤答への批評と修正の学習例が必要になる。入力は文章と数式を想定し、追加のセンサーは使わない。社内の表記と採点規則に合わせて学習例と判定手順を調整する必要がある。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正答を人が照合できる社内の練習問題を集め、問題文、正解ラベル、既存の解答例を整える。誤答への具体的な批評と修正例も用意する。文字入力だけを対象とし、追加のセンサーは使わない。
社内の書式と採点規則に合わせて学習例と判定手順を調整し、直接解答のみを比較基準にする。同じ問題群で正答率、誤答を正しいと判定した割合、正答を改悪した割合、生成量を測る。反復前後の答えを問題ごとに照合し、担当者の確認時間も記録する。
限界と課題
著者らは、基盤モデルに批評を促した試験では、有益な批評が少なく、解き直しによる改善も小さいと報告する。また、自己批評が正しいと判定しない場合にも処理を終えられるよう、推論時には反復回数の上限を設けている。
編集上の検証事項は、誤答を正しいと自己判定する割合、正答を解き直して誤答にする割合、生成量の増加である。自己判定は外部の正解照合とは異なる。社内問題での効果や確認作業の負担は、論文中のベンチマーク結果からは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Double-Checker: Enhancing Reasoning of Slow-Thinking LLMs via Self-Critical Fine-Tuning
While slow-thinking large language models (LLMs) exhibit reflection-like reasoning, commonly referred to as the "aha moment:, their ability to generate informative critiques and refine prior solutions remains limited. In this paper, we introduce Double-Checker, a principled framework designed to enhance the reasoning capabilities of slow-thinking LLMs by fostering explicit self-critique and iterative refinement of their previous solutions. By fine-tuning on our curated 1,730 self-critical instances, Double-Checker empowers long-CoT LLMs to iteratively critique and refine their outputs during inference until they evaluate their solutions as correct under self-generated critiques. We validate the efficacy of Double-Checker across a comprehensive suite of reasoning benchmarks, demonstrating that iterative self-critique significantly enhances the reasoning capabilities of long-CoT LLMs. Notably, our Double-Checker increases the pass@1 performance on challenging AIME benchmarks from 4.4% to 18.2% compared to the original long-CoT LLMs. These results highlight a promising direction for developing more trustworthy and effective LLMs capable of structured self-critique. Our codes and data are available at https://github.com/XinXU-USTC/DoubleChecker
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01