アーカイブ / LLM
短い解法の骨子を渡して推論量を抑えるCoThink
CoThink
CoThinkの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) Example output for question Q67
概要
- CoThinkは指示モデルが短い解法の骨子を作り、推論モデルがそれを受けて解答する。
- 著者らの表では、QwQのMATH500で平均生成量は3,933から3,183トークンに減り、Pass@1は98％から95％に下がった。
- 書誌要約と本文で評価モデル数と総合削減率が食い違うため、導入判断には条件別の正答率と総生成量を確認する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CoThinkの仕組み
- 01数学の設問
- 02短い解法の骨子
- 03骨子に沿って検算
- 04解答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CoThinkは、数学の問題を解く推論モデルが、簡単な問題にも長い検討や再確認を続ける状況に取り組む。推論モデルとは、複雑な問題を段階的に考えるよう調整された言語モデルを指す。出力が長いほど生成量は増える一方、難しい問題では再確認が正答に役立つ場合もある。
著者らは、幅広い指示に答えるよう調整された指示モデルを基準に、正答率と生成量を比較した。実務でも回答の質と、それを得るために生成した文章量の両方を測る必要がある。
手法
まず指示モデルに設問を渡し、答えを解き切らずに短い解法の骨子を作らせる。次に設問と骨子を推論モデルへ渡し、骨子に沿って計算を進め、必要に応じて前の手順を確かめながら解答させる。例えば文章題なら、骨子に数量の関係と使う式を記し、次のモデルが数値を代入して答えを求める流れを想定できる。
ここでいうトークンは、モデルが生成する文を数える単位である。著者らの評価では、指示モデルが作る骨子と推論モデルの出力を合計して生成量を測る。骨子を作る処理も含めて比較するため、短い最終解答だけを見て効率が上がったとは判断しない。
新規性
CoThinkは、指示モデルが先に解法の骨子を作り、推論モデルがそれを手掛かりに解答を完成させる。解く前に問題の難しさを判定してモデルを切り替える手順は要らない。
著者らは、正答率を生成トークン数で割る「トークン効率」に加え、それを同規模の指示モデルの値と比べる「推論効率」を定義した。骨子の生成量も数え、正確さと生成量を併せて評価する。
従来手法との違い
SoloThinkでは、指示モデルまたは推論モデルが単独で問題を解く。NoThinkingは推論モデルに思考過程を飛ばすよう促し、Best of Nは５件の解答候補から最短のものを選ぶ。CoThinkでは指示モデルの骨子を推論モデルへの入力に加える。
著者らの表では、３種類の推論モデルと３種類の数学課題による９条件のうち、CoThinkの総生成量が最少なのは７条件、トークン効率が最高なのは６条件だった。正答率が最高だったのは３条件で、精度上の優位は条件によって異なる。
実験結果
著者らは指示モデルQwen2.5-Instruct-32Bと、推論モデルDAPO、DeepSeek-R1-Distill、QwQを評価した。数学課題はGSM8Kの1,319問、MATH500の500問、AIME24の30問で、生成時の温度は0.6。指標は最初の解答の正答率Pass@1と、骨子を含む平均生成トークン数である。
QwQのMATH500では、単独使用からCoThinkにするとPass@1は98％から95％、平均生成量は3,933から3,183トークンになった。同じモデルのAIME24では80％から83.3％、13,977から11,717トークンだった。いずれも著者らの表にある課題別の結果であり、業務での精度や処理時間を示す値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の定型的な見積計算に適用する。案件の数値と社内の計算規則を入力し、指示モデルが短い計算方針を作り、推論モデルが金額と計算過程を出す。担当者が規則の適用と単位を確認してから使う流れを想定する。
この案では追加学習用の元データは使わず、規則を指示文に反映する。検証には過去案件の入力と、担当者が確定した金額・計算過程を正解ラベルとして用意する。センサーは不要であり、見積業務での効果は論文の数学課題の結果からは判断できない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：過去の見積案件から検証用の入力を集め、案件の数値、適用する計算規則、担当者が確定した金額と計算過程をそろえる。追加学習用の元データは使わず、確定済みの結果を正解ラベルにする。センサーは不要で、単位や例外条件を指示文に反映し、骨子を次のモデルへ渡す形に調整する。
同じ案件を推論モデル単独でも解かせ、金額の正答率、骨子を含む平均総生成トークン数、処理時間を比較する。担当者が規則の適用違いと計算過程の誤りを確認し、案件の複雑さ別にも結果を分ける。生成量の削減が誤答の増加を伴わないかを判断する。
限界と課題
著者らは、解く前に問題の難しさを判定することや、正答に必要な検算の回数を予測することの難しさを述べている。また、表ではDAPOのAIME24において、CoThinkの正答率は単独使用より低い。
編集上の検証事項は、業務の規則や問題の種類が変わっても、正答率と骨子を含む総生成量が両立するかどうかである。書誌要約には４推論モデル・21.1％削減、確認できた本文の範囲では３推論モデル・22.3％削減とあり、集計値が食い違うため総合削減率は採用しない。
出典
元のタイトル・要旨を確認する（英語）
The Price of a Second Thought: On the Evaluation of Reasoning Efficiency in Large Language Models
Recent thinking models trained with reinforcement learning and backward-checking CoT often suffer from overthinking: they produce excessively long outputs even on simple problems, wasting computation. Existing evaluations, based on token efficiency, give an incomplete view as they neglect problem difficulty and intermediate computation costs. We formalize reasoning efficiency as a relative measure between thinking and instruct models, treating instruct models as the minimal-effort baseline. A systematic study across four thinking models and multiple benchmarks reveals two consistent patterns: (i) instruct models achieve higher efficiency overall, and (ii) problem difficulty affects efficiency, with thinking models wasting computation on easy problems but providing value on harder ones. Building on this insight, we propose COTHINK, a simple two-stage pipeline: an instruct model drafts a brief outline, and a thinking model expands it. On GSM8K, MATH500, and AIME24, COTHINK cuts token usage by 21.1% while keeping accuracy on four thinking models, and remains competitive with strong efficiency baselines.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01