新着研究 / LLM
文章の推論を実行可能な計算グラフへ、構造報酬で短い解答過程を学習するが数学課題には例外
Structural Chain-of-Thought
Structural Chain-of-Thoughtの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Comparison between free-form reasoning and computational graph representations for solving a natural-language arithmetic problem.
概要
- LLMが定数・演算・依存関係のグラフを作り、実行器が最終答えを計算する。
- 構造の妥当性、正答、参照グラフとの中間値の重なりを報酬として追加学習する。
- 五課題で教師ありグラフ学習を上回るが、MATHでは自由文の標準GRPOより低かった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Structural Chain-of-Thoughtの仕組み
- 01自然言語の問題
- 02計算ノードを生成
- 03構造を検証
- 04グラフを実行
- 05最終回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LLMが文章で推論過程を出しても、長い説明を検査する費用は高く、その説明を本当に使って答えたかも分かりにくい。計算や論理の途中の依存関係が曖昧だと、誤りの場所も追いづらい。
本研究は自由な文章の代わりに実行可能な計算グラフを生成する。どの値からどの演算を行うかを明示し、答えを別の実行器で決めることで、説明を短くしながら機械的に検査できる範囲を広げる。
手法
モデルは識別子を持つ定数ノードと演算ノードをJSONで生成する。演算ノードは入力として他のノードを参照し、値の依存関係を表す。例えば数量を足してから単価を掛ける問題では、加算の結果が乗算の入力となり、実行器がその順序で答えを算出する。
学習は参照グラフを使う教師あり学習の後、候補を十六個生成して相対的な報酬で更新するGRPOへ進む。報酬は有効な構造、実行した答えの正しさ、中間ノードの値の重なりを含む。忠実さの実験では明示回答も生成し、グラフからの答えと一致するよう追加の報酬を与える。
新規性
グラフ形式を守るだけでなく、答えを導く中間計算も報酬の対象にする。最終値だけが正しい近道と、参照の計算内容を使う推論を区別しようとする点が特徴である。
推論時に候補の木やグラフを探索する方式とは異なり、グラフを出す方策そのものを学ぶ。実行できる表現と、モデルがその表現に従って答えているかを調べる実験を組み合わせている。
従来手法との違い
比較には答えのみの教師あり学習、文章の思考過程付き学習、グラフの教師あり学習、自由文の標準GRPO、Tree-of-Thoughtsなどを使う。グラフの教師あり学習との比較は追加の強化学習の効果を分ける。
著者は四課題で短い出力と高い成績を報告するが、MATHは例外だった。形式を検証しやすいことと難しい演算を正しく組めることは別であり、全課題で自由文推論より優れるという結論にはしない。
実験結果
五ベンチマークと四モデル系列を評価する。平均成績はiGSMでグラフ教師あり学習0.47から提案法0.59、ProofWriterで0.48から0.61へ改善した。生成長は標準GRPOや思考過程の教師あり学習より最大五〜六倍短くなると報告する。
一方MATHでは提案法0.19に対し標準GRPOが0.61だった。著者は事前学習との重複の監査を部分的な説明として挙げるが、低成績そのものは残る。忠実さの検査も、介入と回答一致を測る特定の実験条件に基づく。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の見積り計算で、文章の条件から数量、単価、割引の計算グラフを作る。入力は依頼文、出力は値と依存関係にし、担当者が条件を確認した後に実行器で金額を計算する。
文章の説明を読むだけでなく、誤った単価や演算をノード単位で修正できるようにする。実行可能なグラフへ変換できる業務に範囲を絞り、曖昧な条件や未定義の値は確認へ回す運用を検討する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正解と参照計算を持つ少数の業務問題を用意し、文章推論、グラフ教師あり学習、グラフ強化学習を比較する。学習と評価の文章を分け、数値や計算順を変更した問題も含める。
構造の有効率、実行できた割合、最終正答、中間値の誤り、生成トークンと実行時間を測る。ノードを変更した際に回答が対応して変わるかも確認し、形式だけ正しく誤った式を作るケースを別に集計する。
限界と課題
本文では失敗の多くが構造違反より演算や式の誤りであり、小さなモデルは無効グラフも増えるとする。グラフを実行すれば答えは確定するが、その式が問題を正しく表すかは自動的には保証されない。
編集上の確認点は、参照グラフの用意に必要な費用、同じ答えを出す別の正しい計算への報酬、業務の単位や丸め規則である。文章の推論を短縮する利点と、実行器・構造検査を維持する費用を合わせて判断したい。
出典
元のタイトル・要旨を確認する（英語）
Structural Chain-of-Thought: Reasoning with Executable Computational Graphs
Chain-of-thought prompting enables reasoning in large language models but produces explanations that are difficult to verify, expensive to generate, and not always faithful. We introduce a Structural Chain-of-Thought framework where models generate executable computational graphs instead of free-form reasoning. The final answer is obtained by deterministically executing the graph. The model is trained using graph-based reinforcement learning that rewards structural validity, answer correctness, and node overlap with reference graphs. Experiments across five benchmarks and four model families show that our method consistently improves accuracy over supervised graph training and can reduce generation length by up to 5-6x compared with standard GRPO and chain-of-thought supervised training. Our faithfulness experiments reveal that models trained with our approach tend to rely on deriving their answers from the generated graphs rather than producing post-hoc rationalizations as usually in chain-of-thought reasoning.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-14