アーカイブ / LLM
計画の規則から生成する、言語モデル向け形式問題の学習データ
Reasoning Core
Reasoning Coreの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Zero-shot average reward of GPT-5 on Reasoning Core tasks across two difficulty levels ( easy, hard), with standard error. All tasks are challenging, especially at higher difficulty.
概要
- 計画、論理、文法、因果関係、方程式などの形式問題を生成し、外部ソルバーで解答を確認する。
- 著者らは生成データの追加でPlatinumBenchの正解文の予測損失が改善したと報告する。ただし、追加に伴い総学習トークン数も増えている。
- 形式的な課題から実務への転移と、検証可能な報酬を使う強化学習の効果は実証されていない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Reasoning Coreの仕組み
- 01課題名と難度
- 02形式問題を生成
- 03外部ソルバーで確認
- 04問題・正解・採点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Reasoning Coreは、言語モデルの学習に使う、正解を機械的に確かめられる形式問題を生成する。手順の計画や論理の推論など、通常の文章データだけでは狙って用意しにくい課題を扱う。
著者らは、既存の手続き的な生成器には固定のパズルやひな型に依存するものが多いと指摘する。同じ規則の問題を大量に解けても、規則が変わる場合への対応は別に確かめる必要がある。
手法
利用者が課題名と難度を指定すると、問題文と正解、利用可能な場合は解法の途中経過を得られる。課題には、行動の実行条件と結果から手順を探すPDDL計画、対象と関係を規則で表す一階述語論理、文法の解析と生成、因果関係、方程式がある。難度は計画の長さや変数の数などに反映される。
例えば計画課題では、生成した行動規則と目標について計画エンジンで解を確認する。論理には定理証明器、方程式には記号計算の道具など、課題に応じた外部ソルバーを使う。回答を採点する機能もあり、その結果を学習時の報酬として使える設計である。
新規性
著者らが重視するのは、問題の数だけでなく、問題を生む規則自体を変えられる点だ。計画では固定の盤面に限らず行動の条件や結果を定める領域を生成し、文法課題でも文法を変えられる。
各課題には外部ソルバーによる正解確認と難度調整を組み合わせる。解法の途中経過を付けられる例もあり、同じ窓口から学習用の例と回答の採点結果を得られる。
従来手法との違い
著者らの比較表では、課題群の数はReasoning Gymが100以上、Reasoning Coreが28である。前者はパズルやゲームを幅広く扱い、後者は計画や論理などの形式領域で、問題の規則を変えて生成することに重点を置く。
例えば計画課題では、Reasoning Gymが特定のゲームを課題として持つ一方、Reasoning Coreは行動規則を定める計画領域をランダムに生成する。これは生成方式の比較であり、両者を同条件で学習させた性能差ではない。
実験結果
著者らはGPT-5系列を追加の例示なしで評価し、各課題の難度0と5でそれぞれ200例を使用した。指標は課題ごとの平均報酬で、多くの課題では難度5で失敗が増えたと報告する。確認できた本文の範囲では、図中の課題別数値は示されていない。
学習実験ではFineWeb、SYNTH、Dolciの各5億トークンに、生成データを元データの0～1倍追加した。15課題を含むPlatinumBenchで正解文の負の対数尤度を測り、著者らは3種類の元データすべてで改善を報告する。一般文章の検証損失もわずかに下がったというが、追加比率が高いほど総学習量も増える。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：複数のAPIを呼ぶ順序を提案する開発補助モデルに、生成した計画問題を追加学習する。入力は利用可能なAPI、各操作の実行条件と実行後の状態、目標状態とし、出力は条件を満たす呼び出し順とする。
元データにはAPI仕様と既存の正しい実行手順が必要で、後者を評価用ラベルに使う。API仕様を計画用の行動規則へ変換し、形式問題との表現の差を調整する。センサー入力は想定しない。実際のAPI操作に効果が移るかは未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：API仕様の一部を、操作の実行条件と実行後の状態を持つ計画問題へ変換する。元データはAPI仕様と既存の正しい実行手順で、手順を評価用ラベルにする。入力は目標と利用可能な操作、出力は呼び出し順とし、センサーは使わない。
同じ基礎モデルで、生成した計画問題を追加学習する場合としない場合を比べる。学習に含めないAPIの組み合わせを評価に使い、目標達成率、実行条件違反率、手順の長さを測る。仕様の変換漏れも人手で点検し、効果と変換作業の負担を併せて判断する。
限界と課題
著者らが報告する限界は、形式的・記号的な課題から法律や科学などへの転移を実証していないこと、学習実験が1億パラメータ未満のモデルに限られること、検証可能な報酬を使う強化学習の結果がないことだ。
また、外部ソルバーや人手で確認しても、生成器の不具合や問題文と形式表現の食い違いが残り得ると述べる。編集上の検証事項は、対象業務を正しく形式化できるか、生成例の誤りがどの程度あるか、実際の入力でも効果が続くかである。
出典
元のタイトル・要旨を確認する（英語）
Reasoning Core: A Scalable Procedural Data Generation Suite for Symbolic Pre-training and Post-Training
Training on verifiable symbolic data is a promising way to expand the reasoning frontier of language models beyond what standard pre-training corpora provide. Yet existing procedural generators often rely on fixed puzzles or templates and do not deliver the distributional breadth needed at scale. We introduce Reasoning Core, a scalable suite that procedurally generates verifiable symbolic reasoning data across core formal domains: PDDL planning over randomized domains, first-order logic with equality, context-free grammar parsing and generation, causal reasoning over random Bayesian networks, and systems of equations. Each task is paired with an external solver for rigorous verification and admits continuous difficulty control for curriculum design. Examples can optionally include solver-derived reasoning traces, enabling supervised training from the earliest pre-training stages, and the same interface provides verifiable reward functions for reinforcement learning. Our experiments show that mixing Reasoning Core data into pre-training improves downstream reasoning while preserving, or slightly improving, language modeling quality. Zero-shot evaluations confirm these tasks challenge frontier models such as GPT-5. The code and data are publicly available under the MIT license.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01