アーカイブ / LLM / AI Agent / RAG
利用者の言い方が変わるとMCPツールを選べるか：HumanMCPの評価
HumanMCP
HumanMCPの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: The Flowchart for our Generator–Critic Data Pipeline
概要
- 約2,800ツール、308のMCPサーバーを対象に、五つの人物像に沿う依頼文を生成した。
- 固定した500件の依頼文による評価では、候補が10件から100件に増えると、評価した３モデルのTop-1 Hit Rateはいずれも低下した。
- 2,000ツールの評価では、SentenceTransformerで10件に絞ってからGemini 2.0 Flashで選ぶ方法の最終正解率は76％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、HumanMCPの仕組み
- 01ツールの定義情報
- 02人物像別に依頼を生成
- 03批評と再生成
- 04正解付き依頼文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
HumanMCPは、利用者の依頼文から適切なMCPツールを選ぶ能力を測るデータセットである。MCPは、言語モデルが外部システムのツールに共通の方式で接続するための仕組みを指す。利用できるツールが増えるほど、依頼に合うものを見つける課題が重くなる。
著者らは、既存の評価では整った依頼文に偏りやすいと指摘する。利用者は機能名を正確に述べるとは限らず、困りごとだけを伝えることもあるため、表現の幅を含む評価を目指した。
手法
入力はツール名、目的、引数などの定義情報である。生成役のGPT-4o-miniが、初心者から熟練者まで五つの人物像に沿って依頼文を作る。人物像には、困りごとを述べる人、目標を述べる人、ツールの種類だけを知る人、機能や引数を指定する人、ツール名を挙げる人が含まれる。例えば架空の予定登録ツールなら、「予定を入れたい」と伝える依頼と、機能を詳しく指定する依頼を作り分ける。
次に批評役のGPT-4oが、ツールの機能に合うか、人物像に沿うか、自然な表現かを判定する。不合格なら理由を生成役に戻して作り直し、再試行は最大２回とする。出力は正解ツールと結び付いた依頼文であり、各依頼に対して選択モデルがどのツールを選ぶかを測る。
新規性
著者らが提案するのは、ツールの定義情報から、知識量や意図の明確さが異なる依頼文を生成し、正解ツールと結び付けたデータセットである。MCP Zeroを基に、約2,800ツール、308サーバーを対象とした。
五つの人物像によって、困りごとだけを述べる依頼からツール名を明示する依頼までを作り分ける。生成文は別のモデルが機能との関連、人物像との整合性、言葉の自然さを点検する。
従来手法との違い
著者らによると、既存のMCP評価にはツールの説明や構造化された課題を扱うものがある一方、利用者ごとの言い方の違いを十分に表せていない。HumanMCPは、曖昧な依頼と具体的な依頼を同じツール選択課題に含める。
選択方法の比較では、2,000ツールをすべてGemini 2.0 Flashに示す方法と、検索で10件に絞ってから同モデルに選ばせる方法を試した。後者の成績は検索手法によって異なり、すべてが前者を上回ったわけではない。
実験結果
著者らは固定した500件の依頼文について、正解を含む10、50、100件の候補から選ばせた。Top-1 Hit Rateは最初の選択が正解だった割合で、Gemini 2.0 Flashは10件で98.4％、100件で88.2％、Claude 3.5 Haikuは100件で88.6％だった。
別の実験でGeminiの正解率は500ツールで87.4％、2,000ツールで65％。2,000件から10件に絞る実験では、評価用と分けた2,800組で検索器を調整した。SentenceTransformerの候補内正解率は87.60％、Geminiを含む最終正解率は76％。一方、BM25の最終正解率は59％と、全件を示す65％を下回った。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内のMCPツール一覧から、日本語の業務依頼に合うツールを探す仕組みを評価する。入力はツール名・説明・引数の定義と、利用許可を得た実際の依頼文。担当者が各依頼の正解ツールを付け、その名称と候補一覧を出力させる。
検索で候補を絞ってから選択モデルに渡し、曖昧な依頼で正解が候補から漏れるかを調べる。検索器を調整するなら別の学習用依頼文と正解ラベルを用意し、日本語と対象業務に合わせる。追加のセンサーは想定しない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象ツールの定義情報を集め、担当者が正解ツールを付けた日本語の依頼文を少数用意する。曖昧さや専門知識の違いを含め、評価用と検索器の調整用を分ける。必要な学習用データは調整用の依頼文と正解ラベルで、追加のセンサーは想定しない。
全ツールを提示して選ばせる方法を基準に、検索で10件に絞る方法と比較する。候補内に正解が残る割合と最終正解率を別々に測り、説明文の不足、検索漏れ、最終選択の誤りを記録する。英語の生成文をそのまま流用せず、対象業務の言い方に合わせて依頼文とラベルを確認する。
限界と課題
著者らは、五つの人物像では利用者の変化や文化差を表しきれないと述べる。依頼文はモデルが生成した英語で、誤字、断片的な表現、複数言語が混じる表現は少ない。ツールの説明が不十分または古い場合、生成文の現実味も下がる。
編集上の検証事項は、日本語の実依頼でも同じ傾向が出るか、説明文の古さが選択にどう影響するかである。また、検索で正解を10件の候補から落とせば、後段の選択モデルは正解を選べない。
出典
元のタイトル・要旨を確認する（英語）
HumanMCP: A Human-Like Query Dataset for Evaluating MCP Tool Retrieval Performance
Model Context Protocol (MCP) servers contain a collection of thousands of open-source standardized tools, linking LLMs to external systems; however, existing datasets and benchmarks lack realistic, human-like user queries, remaining a critical gap in evaluating the tool usage and ecosystems of MCP servers. Existing datasets often do contain tool descriptions but fail to represent how different users portray their requests, leading to poor generalization and inflated reliability of certain benchmarks. This paper introduces the first large-scale MCP dataset featuring diverse, high-quality diverse user queries generated specifically to match 2800 tools across 308 MCP servers, developing on the MCP Zero dataset. Each tool is paired with multiple unique user personas that we have generated, to capture varying levels of user intent ranging from precise task requests, and ambiguous, exploratory commands, reflecting the complexity of real-world interaction patterns.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01