新着研究 / AI Agent / LLM
ツール一覧が変わった後の呼び出しを検査・修復、SchemaShield-Liteが候補混同を軽減
SchemaShield-Lite
概要
- 説明、引数名、候補一覧の変化を、ツールの意味を変えない条件で評価した。
- 形式検査、ツール名がない場合の候補再提示、一回の制約付き修復を組み合わせる。
- Qwen3.5-9Bの主要実験では正答率が改善したが、形式が正しく意味が違う呼び出しは残る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SchemaShield-Liteの仕組み
- 01変更後のツール一覧
- 02初回呼び出し
- 03形式検査と候補再提示
- 04一回の制約付き修復
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ツールを使うエージェントは、説明文、引数の形式、表示された候補一覧から呼び出しを決める。実装機能が同じでも、古い例文に以前の引数名が残ったり、似たツールが追加されたりすると、既存モデルの選択が崩れることがある。
本研究はこれをインターフェースの変化として扱う。モデルを再学習せず、呼び出しの後に小さな検査・修復の層を置くことで、どの程度の誤りを回復できるかを調べる。
手法
SchemaShield-Liteは、生成されたツール名と引数を現在のスキーマ、つまり許可する項目や値の形式に照らして検査する。ツール名が欠けて修復対象を特定できない場合は、候補集合を使って再試行する。得られた対象に対し、検査のエラー情報を伴う制約付きの修復を一回行う。
主要評価では正解ツールをあらかじめ与えない。正解ツールが分かる理想条件の実験は別に置き、対象特定と引数修正の問題を分ける。単に同じ依頼をもう一度投げる再試行と、具体的な検査情報を返す修復の差を測る構成だ。
新規性
説明文の書き換えだけでなく、候補集合の増加に伴う混同を独立に扱い、検査に見える誤りへ修復を限定する点が焦点だ。大規模な再学習ではなく、運用時の呼び出し契約に近い仕組みで対処する。
正解を与えた上限評価と、対象ツールをモデルが決める実用寄り評価を区別している。修復の成功数だけでなく、元から正しい呼び出しを壊した数も追う。
従来手法との違い
古い項目名を含む説明例、引数名の変更、似た候補ツールの追加を組み合わせて比較する。Qwen3.5-9BのDICEの分解実験では候補追加の影響が最も大きく、小さな説明・形式変更の損害は相対的に少なかった。
単純な再試行でも多少改善するが、検査・修復ほどではない。別に実行された比較の値は主要実験と少し異なるため、異なる表の数値を一つの連続した実験として差し引かないことが必要だ。
実験結果
著者らの主要な正解非提示評価では、Qwen3.5-9BのDICE-300正答率が0.717から0.813、BFCL-200が0.580から0.805になった。変化で新たに失敗した例のうち、それぞれ19/22件、33/45件を回復した。
元から間違っていた例の修正も全体改善に含み、元から正しい例を壊す事象はこの試験で観測されなかった。同じ手順をQwen3.5-35B-A3Bへ適用したBFCL評価も改善したが、主要な裏付けは同じモデル系列に集中する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内ナレッジ検索やチケット参照のツールが増える環境で、実行前の呼び出し検査に使う。入力は生成したツール名・引数と現在の仕様、出力は検査済み呼び出しか、修復できなかった理由とする。
まず読み取り用ツールへ限定し、候補追加前後の失敗を追う。修復結果も通常の検査を通し、形式が正しいだけで業務上の意図も正しいと扱わない設計を試す。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：過去の正しい依頼を固定し、名称変更と似たツール追加を別々に適用する。修復なし、単純再試行、検査付き修復を同じ呼び出し予算で比較する。
正答率、変化で生じた失敗の回復率、正答を壊した割合、未解決ツール名、追加待ち時間を測る。引数が形式上有効でも対象や値が違う誤りを人が分類し、検査で捕まる範囲を把握する。
限界と課題
形式検査を通る意味上の誤りは修復へ入らないことがあり、正しい値の保証にはならない。合成した仕様変化と限定したベンチマーク切り出しの結果で、あらゆるAPI更新への頑健性は未確認だ。
編集上の確認課題は、別系列のモデル、複数段のツール利用、必須値が会話に存在しない場合の扱いだ。誤修復が観測されなかったことをゼロリスクと解釈せず、実際の候補一覧と評価基準で監視する必要がある。
出典
元のタイトル・要旨を確認する（英語）
Robust Function Calling for LLM Agents Under Interface Drift
Tool-augmented language-model agents rely on interface text: tool descriptions, argument schemas, and the candidate tool list shown at inference time. These interfaces often change after deployment even when the underlying tool semantics remain fixed, creating a practical reliability problem for function-calling systems. We study this failure mode as interface drift and evaluate whether a lightweight, training-free repair layer can recover robustness without retraining the base model. Our method, SchemaShield-Lite, combines schema validation, candidate-set retry for missing tool names, and one-shot constrained repair. On Qwen3.5-9B, it raises DICE-300 accuracy from 0.717 to 0.813 and BFCL-200 accuracy from 0.580 to 0.805, recovering 19/22 and 33/45 drift-induced failures with no observed repair harms. Naive retry does not explain the gains. Ablations show that candidate-set drift, especially distractor tools, accounts for most observed damage, while description and schema edits alone are less harmful. The results position validation-and-repair as a practical robustness layer for deployed LLM-agent tool use.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-19