アーカイブ / LLM / AI Agent
模擬ツールの推論記録で学ぶMTR：多段階質問応答での成果と実運用の課題
Model-as-Tools Reasoning (MTR)
Model-as-Tools Reasoning (MTR)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 6: Semantic Landscape of Generated Tools. This word cloud of 194,421 unique tool names provides a qualitative overview of the ecosystem. Key functional domains form visible clusters, demonstrating semantic coherence and broad, multi-domain coverage.
概要
- MTRは質問別のツールを定義し、モデルが模擬した応答を含む推論記録からツール利用を学ぶ。
- Qwen2.5-7B-baseを初期モデルとする4データセット平均EMは29.38%。同じ初期モデル群のSearch-R1とZeroSearchは各29.3%だった。
- 著者らは、模擬環境と実際のAPIの複雑さの差を導入時の課題として挙げている。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Model-as-Tools Reasoning (MTR)の仕組み
- 01多段階の質問
- 02質問別ツール定義
- 03呼び出しと模擬応答
- 04回答までの記録
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MTRは、外部ツールを使って回答する言語モデルに、実際のAPIを呼ばずにツール利用を学ばせる方法である。複数の情報を結び付ける質問では、何を調べ、得た結果を次の判断にどう使うかまで学ぶ必要がある。
著者らによると、学習中に検索サービスなどを繰り返し呼ぶ方法には費用や待ち時間が伴う。接続先から返る情報も学習の安定性に影響しうるため、MTRではツールの応答をモデルで模擬し、回答までの記録を学習に使う。
手法
ToolMakerが質問に合わせ、入力と出力の形式を定めたツールを作る。この形式は「スキーマ」と呼ばれ、値の型などを検査する。AutoAgentは考える・呼び出す・結果を受け取る手順を記録し、ToolActorが正解を見ずにツール応答を模擬する。例えば二つの事実をつなぐ質問なら、必要な情報を求める呼び出しと、その模擬結果を経て回答に至る記録を作る。
まず、正答に至り形式検査も通った記録で教師あり微調整を行い、記録の書き方を学ばせる。次に、同じ質問への複数の記録を報酬で比べて学ぶGRPOを使う。報酬には最終回答と途中の回答の正しさ・整合性を反映し、同じ呼び出しの繰り返しには減点する。
新規性
MTRの提案は、質問に合わせたツールの定義、形式を検査した模擬応答、回答までの推論記録を三つの役割で作り、実際のAPIを呼ばずに学習する点にある。ToolActorは正解を見ずに応答を作り、完成した記録を後から検証する。
学習では、ツールを使う記録の形式を覚える段階と、回答の正しさや途中の整合性を基に選択を調整する段階を分ける。著者らは、この組み合わせでツール利用を学ぶ方法としてMTRを提示した。
従来手法との違い
著者らは、ツールを使わない直接回答や段階的な推論を促すCoTに加え、外部情報を検索して回答に使うRAG、推論時に実際のAPIを使うSearch-R1とZeroSearchなどを比較した。MTRは推論時にも実際のAPIを使わない設定で評価されている。
Qwen2.5-7B-baseを初期モデルとする表では、4データセットの平均Exact MatchはMTRが29.38%、Search-R1とZeroSearchが各29.3%。ただしMuSiQueではMTRが10.5%、Search-R1が18.2%であり、平均値だけで各課題の優劣は判断できない。
実験結果
著者らはHotpotQA、MuSiQue、2WikiMultiHopQA、Bamboogleで、表記をそろえた回答の完全一致率であるExact Match（EM）を測った。Qwen2.5-7B-baseから学習したMTRの4データセット平均は29.38%、Bamboogleは40.0%。同じ初期モデル群のZeroSearchは平均29.3%、Bamboogleは33.3%だった。
二段階学習の比較では、MTR-7Bの平均EMは教師あり微調整だけで16.63%、GRPO追加後に29.38%。学習には選別済みの推論記録約10万件を使った。一方、MuSiQueのMTRは10.5%で、Search-R1の18.2%を下回った。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内手順書をまたぐ問い合わせについて、回答案と調査手順の記録を作る。入力は利用を認めた手順書と社員の質問、出力は回答案とツール呼び出し・模擬応答の記録とし、担当者が原文と照合してから回答する。
適応には、対象の手順書、質問と正解を対応付けたラベル、回答を確認した推論記録が必要になる。追加のセンサーは想定しない。模擬応答が手順書の事実と一致する保証はないため、この用途で役立つかは別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：問い合わせを一種類に絞り、利用可能な手順書、質問と正解のラベル、回答と手順を確認した推論記録を用意する。文書を調べるツールの入力・出力形式を定め、模擬応答を使う学習方法を試す。追加のセンサーは想定しない。
同じ質問群で、ツールを使わず直接回答する方法と比較する。回答の完全一致率に加え、呼び出しの形式違反、回答と原文の不一致、重複した呼び出しを数える。実際の文書を参照する運用でも測り直し、模擬応答で学んだ結果との差を確かめる。
限界と課題
著者らは、模擬環境が実際のAPIの複雑さを十分に再現できず、導入時に差が生じうると述べる。模擬学習と実際のAPI利用を組み合わせる方法や、コード生成、科学的推論への拡張を今後の課題に挙げている。
編集上の検証事項は、模擬応答に誤った事実が含まれる頻度、実文書を参照したときの回答精度、ツール形式が変わったときの動作である。示された数値は多段階質問応答の結果であり、社内文書を扱う業務での精度を示すものではない。
出典
元のタイトル・要旨を確認する（英語）
Adaptive Tool Generation with Models as Tools and Reinforcement Learning
Tool-augmented language models have demonstrated strong capabilities, but their reliance on live API access creates scalability and reliability challenges during training and deployment. We propose MTR, a simulation-first training framework for tool-augmented reasoning. Instead of relying on live APIs, MTR learns from complete ReAct traces with schema-validated, simulated observations. Our approach operates through a multi-agent architecture where a ToolMaker generates task-specific, OpenAI-compatible tool interfaces, an AutoAgent produces structured think-act-observe sequences, and a ToolActor simulates realistic responses. Training proceeds in two stages: Stage-1 Supervised Fine-Tuning (SFT) teaches 'trace grammar' from complete reasoning sequences; Stage-2 Group Relative Policy Optimization (GRPO) optimizes strategy with a composite trace reward that balances answer correctness and internal consistency. Across four multi-hop QA benchmarks (HotpotQA, MuSiQue, 2WikiMultiHopQA, Bamboogle), MTR attains competitive Exact Match (EM) scores to live-API systems and excels on reasoning-intensive tasks, suggesting that effective tool reasoning can be learned from structured traces without live interactions.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01