アーカイブ / LLM / AI Agent
道具を使うべきかの判定から始めるLLM向けツール検索
MassTool
MassToolの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: (a) The pipeline of tool-augmented large language models with tool retriever. (b) The illustration of a dual-step sequential decision-making formulation of tool retrieval. (c) The examples of out-of-distribution user queries with similar core user intent for stock market.
概要
- 質問にツールが必要かを先に判定し、必要な場合だけ機能候補を順位付けする。
- ツール不要の質問3万1229件を集めたToolDetを補助データとして用いる。
- 著者らの実験では、ToolLensとToolBenchの評価指標で既存の検索手法を上回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MassToolの仕組み
- 01利用者の質問
- 02ツール要否を判定
- 03関連質問と機能を照合
- 04上位の機能候補
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
大規模言語モデルが外部の機能を使うには、利用者の質問に合うツールを多数の候補から選ぶ必要がある。すべての機能説明を毎回モデルに渡すのは、入力できる文章量や処理時間の面で難しい。
一方、雑談や文章の要約のように、外部機能を呼ばずに処理できる依頼もある。著者らは、ツールの説明をよく表現するだけでなく、質問が何を求め、そもそも道具を必要とするかを捉えることを課題にした。
手法
MassToolは二つの処理系を同時に学習する。最初の系が質問からツール利用の必要性を予測し、必要と判断した場合にもう一つの系が候補を順位付けする。例えば「旅行の計画を立てて」なら、学習済みの質問と機能の対応関係を使い、天気や宿泊など関連する機能を探す。
検索側は、質問とツールのつながりを図として扱うグラフ処理、意味の近い過去の質問を探す処理、判定側の情報を取り込む処理を組み合わせる。近い質問でも無関係な例は類似度の基準で除く。学習では、要否判定の誤りと候補の順位の誤りをまとめて減らす。
新規性
MassToolの中心は、ツールが必要かを判定する課題と、必要なツールを探す課題を共同で学習する点だ。判定側で得た質問の特徴を検索側へ渡し、ツールの説明だけでなく質問の意図の表現も調整する。
著者らは、ツール不要の質問3万1229件からなるToolDetも構築した。似た過去の質問の検索、質問とツールの関係を表すグラフ、二つの課題の情報を結び付ける仕組みを組み合わせている。
従来手法との違い
従来のツール検索研究は、入力された質問にはツールが必要だと仮定し、質問とツール説明の意味的な近さなどで候補を選ぶことが多いと著者らは述べる。MassToolは先にツール利用の要否を判定し、必要な場合に候補を順位付けする。
論文の比較対象にはQTA、MMRR、APIRetriever、COLTが含まれる。示された結果表ではCOLTが各設定の比較法の中で最良で、MassToolがそれを上回る。これは評価に使ったデータと指標での比較である。
実験結果
著者らはToolLens、ToolBenchG2、ToolBenchG3で、正しいツールが上位3件・5件に入る割合を示すRecall@Kと、上位の順位を重視するNDCG@Kを評価した。ツール不要の質問3万1229件を含むToolDetを補助データに使い、複数の検索モデルと既存の検索手法を比較している。
例えばANCEを基盤にしたToolBenchG2のRecall@3は、COLTの0.7076に対しMassToolが0.7927だった。著者らの結果表では、3データセットと4種類の基盤モデルの全指標でMassToolが比較法を上回り、最良の比較法との差にはp＜0.001の印が付く。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の業務支援チャットに、検索、予定確認、計算などの機能を多数登録する。「この文を短くして」と「来週の予定を確認して」を入力として受け、前者にはツール不要の判定、後者には適切な機能の候補一覧を返す。
候補を下流の言語モデルへ渡し、実際の実行前には利用者の要求と機能の説明が合うかを確認する。MassToolの出力はツールの選定であり、選ばれた機能の実行結果まで論文の検索指標が保証するわけではない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：登録済みの機能説明と、実際の利用者の質問を少量集める。各質問に「ツール不要」または必要な機能の正解を付け、現在の意味検索による候補選定とMassTool型の二段階選定を同じ質問で比べる。
ツール要否の見落とし率、上位3件への正解機能の入り方、複数機能が必要な質問での取りこぼしを記録する。機能の説明を更新した後も同じ検査を行い、検索の改善が実際の選択ミスの減少につながるかを見る。
限界と課題
確認できた本文では、評価の中心は正しいツールを候補上位に含める率と順位の質である。ツールを実行した後の回答品質や業務全体の完了率まで、結果表からは分からない。また、著者ら自身の分析でも、必要なツール数が増えるほどMassToolと比較法の性能は下がる。
編集上の確認事項は、ツール不要の判定で必要な機能を見落とす頻度、新しい機能を追加した際の順位、言い換えの多い社内質問での安定性である。候補数を絞る設定も実際の機能群に合わせて測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
MassTool: A Multi-Task Search-Based Tool Retrieval Framework for Large Language Models
Tool retrieval is a critical component in enabling large language models (LLMs) to interact effectively with external tools. It aims to precisely filter the massive tools into a small set of candidates for the downstream tool-augmented LLMs. However, most existing approaches primarily focus on optimizing tool representations, often neglecting the importance of precise query comprehension. To address this gap, we introduce MassTool, a multi-task search-based framework designed to enhance both query representation and tool retrieval accuracy. MassTool employs a two-tower architecture: a tool usage detection tower that predicts the need for function calls, and a tool retrieval tower that leverages a query-centric graph convolution network (QC-GCN) for effective query-tool matching. It also incorporates search-based user intent modeling (SUIM) to handle diverse and out-of-distribution queries, alongside an adaptive knowledge transfer (AdaKT) module for efficient multi-task learning. By jointly optimizing tool usage detection loss, list-wise retrieval loss, and contrastive regularization loss, MassTool establishes a robust dual-step sequential decision-making pipeline for precise query understanding. Extensive experiments demonstrate its effectiveness in improving retrieval accuracy. Our code is available at https://github.com/wxydada/MassTool.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29