アーカイブ / LLM / AI Agent
552の実行可能なツールで、AIの課題達成を測るMCPVerse
MCPVerse
MCPVerseの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The MCPVerse Evaluation System. A user’s task is processed by an LLM agent that can access a diverse toolset built upon MCP pool collected from MCP hubs. The agent autonomously plans and executes a sequence of function calls, and its final response is checked for correctness by an automated evaluation system.
概要
- 著者らは65のMCP接続先にある552の実行可能なツールを用い、250課題で８モデルを評価した。
- ツールの使用順ではなく、最終回答や変更後の状態が正しいかを判定する。
- 表ではClaude-4-Sonnetの平均正解率がOracleの57.81%からStandardの61.01%に上がった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MCPVerseの仕組み
- 01利用者の課題
- 02MCPツール選択
- 03ツール実行と応答
- 04最終結果の判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MCPVerseは、言語モデルが外部ツールを選んで実行し、依頼を達成できるかを測る評価基盤だ。著者らは、従来の評価には模擬ツールを使うものや、モデルに見せる操作を少数に絞るものが多いと指摘する。
実務の依頼では、検索やファイル操作などの結果を見て、次の操作を決める必要がある。ツール名と引数を正しく選んでも、求められた結果に至るとは限らない。そこで、操作の列だけでなく最終的な回答や変更後の状態を確かめる。
手法
評価対象のモデルに課題と利用可能なツールの定義を渡す。MCPは、AIと外部ツールを共通の形式でつなぐ規約である。モデルはツールを呼び、その実行結果を履歴に加えて次の呼び出しを決め、最後に回答する。例えば運航情報を問う課題なら、時点に合う情報を取得して答える。
各課題には必要な接続先や正解などを注釈し、時刻に左右される答えは専用スクリプトで取得する。文章の回答は別の言語モデルで正誤を判定し、ファイル変更などは専用スクリプトで変更後の状態を確かめる。使用したツールの順番は固定せず、最終結果を正解か不正解の二値で記録する。
新規性
MCPVerseは、65のMCP接続先から552の実行可能なツールを集め、広い選択肢の中でモデルが課題を達成できるかを測る。検索器で候補を事前に絞らず、選んだツールや使用順が違っても最終結果で判定する。
時刻によって答えが変わる課題には、その時点の正解を取得するスクリプトを用意した。多くのツールを提示したときの選択と実行を調べる評価設計であり、業務への導入効果を示すものではない。
従来手法との違い
著者らの比較表では、BFCL-v3は模擬ツール76個、MCPBenchは現実のツール27個を実行可能としている。１課題で同時に提示できる最大数はそれぞれ37個と10個で、MCPVerseは552個を提示できる。
モデル評価では、注釈された必要な接続先だけを渡すOracle、32の接続先を渡すStandard、全65接続先を渡すMax-Scaleを比べる。接続先の数に加え、一部のモデルではツールの呼び出し方法も異なるため、成績の差を選択肢の数だけで説明することはできない。
実験結果
著者らは250課題を複雑さで３段階に分け、65のMCP接続先にある552ツールで８モデルを評価した。Standardでは32接続先・218ツール、Max-Scaleでは65接続先・552ツールを提示する。指標は最終結果の正解率で、文章回答と状態変更には異なる判定方法を使う。
表によるとClaude-4-Sonnetの平均正解率はOracleで57.81%、Standardで61.01%、Max-Scaleで57.77%だった。OracleからStandardへの変更で上昇したのは、この８モデルでは同モデルだけである。Max-Scaleを完了できたのは２モデルで、一部の条件ではAPIの上限を避けるため、ツール定義をプロンプトに書く呼び出し方法を使った。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の障害票を入力し、許可されたファイル操作とGitのツールで関連箇所を調べ、根拠となるファイルと修正候補を回答する開発支援エージェントを評価する。ツールの失敗後に別の手段を選ぶ過程も記録する。
追加学習は行わず、過去の障害票と参照可能なリポジトリを評価用の元データにする。担当者が期待する回答を正解ラベルとして確認し、センサー入力は使わない。社内の権限設定とツール定義に合わせる必要があり、効果は検証を要する仮説である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正解を確認できる過去の障害票を少数選び、参照可能なファイルとGit操作を接続する。追加学習用データは使わず、障害票を評価用の入力、担当者が確認した期待回答を正解ラベルにする。センサーは使わず、権限とツール定義を社内環境に合わせる。
同じモデルで、必要な接続先だけを渡す条件を基準に、関連する接続先を増やした条件と比べる。最終回答の正解率、誤ったツール選択、失敗後に別のツールを試した件数、実行不能だった課題数を記録する。ファイルの状態は判定時点をそろえ、採点結果を担当者が点検する。
限界と課題
著者らが示す制約として、全ツールの定義は約14万～14万7千トークンに達し、モデルの文脈長やAPIのツール数上限がMax-Scaleの実行を妨げる。接続先の提供者がツールを追加・廃止すれば、選択肢の数も変わり得る。
編集上の検証事項は、文章回答を判定するモデルと担当者の判断の一致度、外部サービスの状態変化による再現性である。OracleでのClaude-4-Sonnetの平均値は表では57.81%だが、結果分析の一節には57.77%とあり、数値が食い違う。
出典
元のタイトル・要旨を確認する（英語）
MCPVerse: An Expansive, Real-World Benchmark for Agentic Tool Use
Large Language Models (LLMs) are evolving from text generators into reasoning agents. This transition makes their ability to use external tools a critical capability. However, evaluating this skill presents a significant challenge. Existing benchmarks are often limited by their reliance on synthetic tools and severely constrained action spaces. To address these limitations, we introduce MCPVerse, an expansive, real-world benchmark for evaluating agentic tool use. MCPVerse integrates more than 550 real-world, executable tools to create an unprecedented action space exceeding 140k tokens, and employs outcome-based evaluation with real-time ground truth for time-sensitive tasks. We benchmarked the state-of-the-art LLMs across three modes (Oracle, Standard, and Max-Scale), revealing that while most models suffer performance degradation when confronted with larger tool sets, the agentic models, such as Claude-4-Sonnet, can effectively leverage expanded exploration spaces to improve accuracy. This finding not only exposes the limitations of state-of-the-art models in complex, real-world scenarios but also establishes MCPVerse as a critical benchmark for measuring and advancing agentic tool use capabilities.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01