新着研究 / AI Agent / RAG
意味が近くても失敗するAPIは避けるRATED、実行結果を使ってツール候補を再順位付け
RATED
RATEDの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Tool repository growth and reliability gap on the left, and skewed tag distribution on the right. Left panel shows tool repository growth timeline from February 2025 to January 2026, with total tools (blue line) and reliable tools (orange line). Right panel shows tag word cloud visualization.
概要
- 意味検索で候補を絞り、実行の成功・失敗を学ぶ軽量な選択器で順位を変える。
- EcoAgentは5172のツールと21万超の質問・ツール対を含む評価基盤である。
- 30%の障害注入条件で故障ツール選択率を86.2%から2.9%へ低下させた。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RATEDの仕組み
- 01質問とツール説明
- 02意味検索で候補抽出
- 03信頼性で再順位付け
- 04実行結果の更新
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
エージェントが道具を選ぶとき、説明文が質問に近いことだけでは実行成功を保証できない。同じ機能のAPIが複数あっても、一部が停止したり認証に失敗したりすると、静的な検索順位では使えない候補を選び続けるおそれがある。
RATEDは、意味の一致と実行時の信頼性を組み合わせる検索方式である。意味検索モデルを運用中に毎回再学習する代わりに、道具の実行結果を小さな選択モジュールへ戻し、候補の並びを変える。
手法
質問とツール説明を別々の符号化器でベクトルへ変え、近い候補を取り出す。符号化器は対比学習で適応した後、運用時には固定する。候補には意味の近さ、文書の品質などから作る初期信頼度、実行履歴から学ぶ信頼度を合わせて点数を付ける。
実行履歴には文脈付きバンディットを使う。これは質問の特徴を見て一つの道具を選び、選んだ道具だけの成功・失敗から次の選択を学ぶ方法である。古い結果の重みを下げ、最近の障害を反映しやすくする。例えば同じ照会機能のAPIが停止した場合に、意味検索の候補内で別のAPIを優先できる。
新規性
ツール検索を静的な関連度の問題から、可用性が変わる逐次選択の問題へ広げる。大きな意味モデルを固定しても、別の軽い更新部分が実行の信頼性へ追従できる構成を採る。
ツール説明と実際の問い合わせを含むEcoAgentも作成する。文書由来の初期値と部分的な実行フィードバックを併用し、まだ実行履歴の少ない候補を含めて順位を調整する点が実務上の特徴となる。
従来手法との違い
ToolLLM API Retrieverや各種の埋め込み検索器、再順位付け器と比較する。RATEDの実質問MRRは0.618で、ToolLLMの0.406より高いが、表ではAda-002の0.670など、より高い候補もある。
したがって52.2%の相対改善は特定の基準方式との比較である。動的な障害回避と静的な意味検索の強さは別に測る必要があり、本方式がすべての関連度指標で最高だという結果ではない。
実験結果
EcoAgentには5172ツールと21万超の質問・ツール対があり、合成質問で符号化器を学習し、実質問の分割で検証する。MRRは最初の正解候補の順位の逆数を平均した指標で、RATEDはToolLLM比52.2%の相対改善を示した。
30%の障害注入試験では、故障ツールの選択率が基準の86.2%から2.9%へ下がった。本文は符号化だけの推論に対する追加時間を1段階あたり0.172ミリ秒と報告する。この値はAPI呼び出し全体の時間や業務完了率そのものではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：複数の社内データ取得APIを使うエージェントへ、実行結果に応じた候補の選び直しを加える。入力は利用者の照会とAPI説明、出力は実行する候補で、タイムアウトや成功を選択器へ戻す。
同じ用途の代替APIがある場合に、停止中の候補を避けることを狙う。代替先が返す対象や更新頻度が同等かは、意味の近さだけで決めず、業務側の条件として確認する運用を想定する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：読み取り用ツールの小さな集合で、意味検索のみを基準にする。特定の候補へ一時的な障害を入れ、固定順位と履歴による再順位付けで失敗選択率と回復までの選択回数を比較する。
障害がない条件の正しいツール到達率も同時に測る。実行成功でも答えが不適切な例を別に記録し、成功・失敗の二値信号が業務上の有用さを十分に表すかを確認する。追加遅延と履歴の保存量も測定する。
限界と課題
実行試験は注入した障害の条件であり、報告された故障選択率を任意のAPI環境へそのまま適用できない。選択器は意味検索で取り出した候補内を並べ替えるため、必要な代替候補が最初に入らない場合は別の問題が残る。
編集上は、長期停止から復旧した道具の再発見、認証条件が利用者ごとに異なる場合、成功信号の誤りを検証したい。文書の品質に基づく初期値も実際の可用性と同じではなく、運用履歴と照合して評価する必要がある。
出典
元のタイトル・要旨を確認する（英語）
RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics
As AI agents increasingly rely on external tools, accurate retrieval is essential for reliable behavior. Existing methods optimize semantic relevance but largely ignore tool availability during execution. To address this gap, we propose RATED (Reliability-Aware Tool Retrieval via Execution Dynamics), a retrieval framework that combines robust semantic matching with dynamic reliability adaptation. RATED employs a frozen dual-encoder with contrastive fine-tuning for semantic matching, and a lightweight contextual bandit module that re-ranks candidates based on real-time execution feedback. This design enables rapid adaptation to runtime tool failures without expensive model retraining. We introduce EcoAgent, a benchmark of 5,172 real-world tools and over 210,000 query-tool pairs for offline retrieval and dynamic reliability evaluation. Experimental results demonstrate that RATED achieves a 52.2% relative MRR improvement over the ToolLLM API retriever on real-world queries, and reduces fault selection rate from 86.2% to 2.9% under severe API outage scenarios with a 30% failure rate, while incurring negligible latency overhead of less than 1 ms over encode-only inference. The code and dataset are available at https://github.com/Elliotes/EcoAgent.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-13