表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

長いAI作業で「次に何をするか」を独立して考える制御方式

Agentic Meta-Reasoning

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理

概要

  • 制御役が進捗確認、次の作業の提案、費用対効果の評価、依頼内容の作成を順に行う。
  • ProgramBenchではGPT-5.5を用いた提案法の平均テスト通過率が71.5%で、Codexの58.0%を上回った。
  • 短い作業では制御費用が不利になり得るため、成功率とともに時間と呼び出し数を測るべきである。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Agentic Meta-Reasoningの仕組み

左から右へ読む
  1. 01課題と保存成果
  2. 02進捗を要約
  3. 03次の作業を選択
  4. 04成果物を提出

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

長いAIエージェントの作業では、解くべき問題だけでなく、次に調べるか、既存案を直すか、別案を試すか、いつ終えるかの判断が増える。一度見つけた正しい成果を見落としたり、失敗した方針に予算を費やしたりする可能性がある。

本研究は、こうした作業の進め方を推論時の明示的な制御過程として扱う。対象は証明、抽象的な推論、長い問題解決、プログラム再構築にまたがる。

手法

ワーカーは証明やコード修正など実際の作業を行い、結果を識別子付きの成果物として保存する。制御役は新しい結果を読んで進捗を短く更新し、次に行う候補を挙げ、残りのモデル呼び出し予算に見合うか判断する。例えば未確認の補題がある証明なら、別の証明を始める前に補題の検査を依頼できる。

選んだ作業には必要な過去の成果だけを添えてワーカーへ渡す。成果物間の参照を記録したものが成果物グラフで、どの試行が以前の結果を使ったかを追える。停止時には保存済みの候補から最終回答を選ぶ。

新規性

作業を行うワーカーと、次の作業を選ぶ制御役を分け、制御判断自体を四段階の推論過程にした。各段階では、進捗の要約、選択肢の提案、残り予算に照らした評価、必要な過去成果を添えた依頼を行う。

作業の全履歴を毎回読み直す代わりに、短い進捗状態と保存された成果物を使う。成果物の参照関係をグラフとして記録し、正しい候補を作れたかと最後に選べたかを分けて分析する。

従来手法との違い

直接制御エージェントは、同じワーカーと行動の選択肢を使い、積み重なった履歴を見て一回で次の行動を決める。提案法は判断を四段階に分けるため、制御のモデル呼び出しも共通の予算から差し引かれる。

ProgramBenchではCodexやClaude Codeも比較対象にした。ただし呼び出し回数をそろえても、各呼び出しの文字量、所要時間、計算量まで等しいわけではないと著者らは明記している。

実験結果

著者らはIMO ProofBench-Advanced、ARC-AGI-2、LongCoT-mini、ProgramBenchで、三つのモデルと比較した。主な予算は推論課題で100回、ProgramBenchで1200回のモデル呼び出しである。ProgramBenchではGPT-5.5を用いた提案法の平均テスト通過率が71.5%、Codexが58.0%、直接制御が63.7%だった。

Opus 4.8では提案法67.2%、Claude Code65.5%と報告された。他の評価群では、直接制御に対する平均改善幅が3.6~4.2点だった。著者らは成果物の再利用と正答候補の発見率も分析し、最終選択の改善は設定によって異なると述べる。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:古いソフトウェアの仕様を再構築する作業で、調査、実装、検証を担うワーカーを制御役が割り振る。入力は目標仕様、既存コード、これまでの調査結果で、出力は検証済みの修正候補と採用理由にする。

制御役は失敗した案の注意点や有望な案の試験結果を保存し、次の担当者へ必要な成果だけを渡す。既に見つけた正しい候補を失わず、費用内で検証に進めるかを確かめる用途である。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:過去の不具合修正課題を少数選び、同じワーカーとモデル呼び出し上限で、直接制御と四段階制御を比較する。正解が判定できる試験を用意し、候補ごとの実行結果も保存する。

最終成功率に加え、正しい候補が途中で現れた率、その候補を採用した率、モデル呼び出し数、所要時間を測る。短い課題と長い課題を分け、制御に使う費用が利益を上回る条件を確認する。

限界と課題

著者らは、制御を細かく行う費用が小さい予算では不利になり得ると報告する。また、正しい候補を見つける率は多くの設定で上がった一方、最後の候補選択の改善は一様ではなかった。

編集上の確認事項は、実業務での時間と費用、保存した成果の誤りが後続へ伝わる影響、停止判断の適切さである。記録された参照関係も情報の流れをすべて捉えるものではない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Thinking Before Thinking: Scaling Agentic Inference Through Meta-Reasoning

As agents take on longer and more complex problems, controlling the execution becomes a task in its own right. Each step in the run brings new control choices, like which partial work to build on, whether to start fresh, or when to stop. We introduce agentic meta-reasoning, an inference-time harness that makes these choices an explicit and structured reasoning process. Workers carry out the task-level computation, while a controller consolidates what the run has established, explores next options, assesses what each option is worth under the remaining budget, and dispatches the chosen work with context drawn from persistent memory. Between decisions the controller carries only a compact account of the run rather than replaying its full history. Our baselines span production coding agents and research harnesses, together with a Direct Control Agent using the same workers and compute budget allowance. On ProgramBench, which tests long-horizon agentic capability through program reconstruction, meta-reasoning achieves 71.5% with GPT-5.5 against 58.0% for Codex; with Opus 4.8 it achieves 67.2% against 65.5% for Claude Code. On the other benchmarks, spanning abstract reasoning, multi-domain long-horizon reasoning, and proof generation, it gains between 3.6 and 4.2 points over direct control, averaged across three frontier models. It keeps improving over the tested budget ranges where direct control plateaus, though its overhead can hurt at small budgets. Artifact-graph analysis reveals more reuse of earlier work, higher coverage of correct solutions in most settings, and nonuniform gains in final selection. These results indicate that spending computation on structured control becomes more important as agents scale to longer runs.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-01