新着研究 / LLM / AI Agent
既知の物理結果の再導出と条件変更を分けるPHYRD、計算ツールで残る概念誤りも評価
PHYRD / FormulaForest
概要
- 公表済み結果の再導出63問と、理論条件を変更した43問からなる評価基盤を提案。
- 数式、定義、前提の依存関係から、問題・参照解・小問別の採点基準を構築する。
- ツールで完答数が増えるモデルがある一方、概念の誤りや議論の欠落は残る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PHYRD / FormulaForestの仕組み
- 01物理論文の式と前提
- 02依存関係の整理
- 03再導出と条件変更
- 04小問と全問の採点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
PHYRDは、理論物理の既知の結果を導けるかと、前提を変えた場合の帰結を導けるかを分けて測る。数式を計算できても、その式が使える条件を取り違えれば、研究に使える議論にはならない。
一般的な問題集の正答率や、生成プログラムの実行成功だけでは、この差を見落としやすい。論文は計算の途中を補助する能力と、前提から結論へ至る理論的な筋道を保つ能力を、同じ研究課題の中で評価しようとしている。
手法
FormulaForestという枠組みが、元の論文にある数式、定義、仮定を、適用条件付きの依存関係として整理する。それを使って問題文、参照解答、小問ごとの採点規則を作り、原典との照合、解析的な確認、必要に応じた計算検査を行う。
Reproduceは公表された結果の導出、Discoverは何を変えて何を固定するかを指定した条件変更の問題である。各小問の正誤と、問題全体を解き切れた割合を別々に集計する。Discoverでは同じ問題に対して外部ツールなしとありを比較し、計算の補助が全体の議論にも届くかを調べる。
新規性
評価軸を難易度だけでなく、既存の条件での導出と、条件を変えた後の推論に分けたことが特徴だ。元の式を再利用する際に無効になる仮定を認識できるかを、研究の拡張に近い課題として扱う。
新しい研究から問題を継続追加する構想も持つ。更新の際には理論的前提、参照解、採点基準を再確認し、版と時刻を追える形にする必要性を論文自身が述べている。単なる問題数の増加ではない。
従来手法との違い
論文は、競技数学、科学知識の質疑、研究用プログラム、研究水準の問題といった既存評価との役割の違いを整理する。実行できた計算や数値の一致だけでは、一般的な結論の正しさは確定しないという立場である。
ツールありとなしを比較すると、四つのモデルでDiscoverの完答数が増えた。一方、GLMは小問単位で改善しても全問正解率は改善せず、局所的な計算の改善と一貫した解答の完成が別であることが表れている。
実験結果
問題数はReproduceが63、Discoverが43。五つのモデルの全問正解率は、前者で49.21〜68.25%、ツールなしの後者で18.60〜74.42%だった。DeepSeekとQwenではツール利用によりDiscoverの全問正解率が各20.93ポイント上がったと報告する。
計算誤りは減る一方、概念誤りは同程度に残ったという。さらにFormulaForestの合成データでQwen-35B-A3Bを学習すると、別のFrontierScienceで61%から72%へ改善した。評価内の得点と、未知の理論発見の達成は同じではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案は、研究支援エージェントの導入前評価である。社内で扱う数式と適用条件を入力し、既存条件の再導出問題と、一条件だけ変えた問題を作り、根拠を含む解答を比較する。
例えば計算ツールを使う候補モデルが、式の前提を説明できるかを確認する。採点結果は小問の正しさと全体の議論の完成に分け、計算が合うことを理由に研究者の確認工程を省く判断へ直接つなげない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、専門家が参照解を点検できる少数の問題を作り、ツールなしとありで同じモデルを比較する。条件変更後に使えなくなる式を明示し、回答がその変更を認識したかを採点する。
計算ミス、概念ミス、仮定の見落とし、議論の省略を別々に数え、全問正解率と費用も測る。問題と参照解の版を固定し、新たな問題を加えるときは過去版も残して、モデル更新の効果と問題更新の影響を分ける。
限界と課題
論文が示す失敗には、概念上の誤りと必要な議論の欠落が残る。公開した問題が後の学習に入る問題もあり、継続的な追加だけでなく、版管理と新しい参照解の検証が評価の信頼性に関わる。
編集上の確認点は、専門分野の偏りと採点規則への依存である。条件を変えた課題を解けても、独立した新発見や実験的妥当性まで証明したわけではなく、研究の着想、数学的正しさ、検証可能性を分けて判断したい。
出典
元のタイトル・要旨を確認する（英語）
PHYRD: A Living Benchmark for Reproducing and Extending Theoretical Physics Research
Large language models and agents have shown significant power in advanced physical research. In this paper, We introduce PHYRD, a living benchmark for theoretical-physics reasoning with 63 Reproduce and 43 Discover problems. Reproduce tests derivation of published results; Discover tests consequences of modified theoretical conditions. FormulaForest constructs the tasks with reference solutions and subquestion-level rubrics. Across five models, whole-problem accuracy ranges from 49.21% to 68.25% on Reproduce and from 18.60% to 74.42% on closed-book Discover. With tools, four models complete more Discover problems, but conceptual errors and missing arguments persist. Besides, our experimental results demonstrate the value of FormulaForest as synthetic data. On FrontierScience, a benchmark developed by OpenAI, it raises the accuracy of a Qwen-35B-A3B model from 61% to 72%.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-26