アーカイブ / AI Agent / LLM
実行履歴からAPIの候補と呼び出し順を決めるSkillGraph
SkillGraph
SkillGraphの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 2: Top-10 SkillGraph communities (out of 216 total; Louvain modularity Q = 0.892 Q{=}0.892 ). Node size is proportional to community size (number of tools); arrow weight reflects inter-community transition probability. Communities align with API categories (NMI = 0.695 vs. RapidAPI taxonomy): domain-specific tools co-cluster naturally (e.g. Finance and Currency & Crypto exchange strongly, reflecting multi-step trading workflows), validating that SkillGraph encodes semantically coherent execution dependencies.
概要
- 成功したツール実行履歴を有向グラフにし、候補選択と順序付けに使う。
- 著者らはToolBenchでSet-F1 0.271とKendall-τ 0.096、API-BankでKendall-τの−0.433から＋0.613への改善を報告した。
- 評価では正解列の長さから推薦件数を決めているため、導入時には件数の決め方とAPIの入力条件を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SkillGraphの仕組み
- 01成功履歴と依頼文
- 02遷移グラフ構築
- 03候補ツール選択
- 04候補の順序付け
- 05順序付き候補列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LLMエージェントが多数のAPIを使うときは、依頼に合うツールを選ぶだけでなく、呼ぶ順番も決める必要がある。後のツールが前の処理結果を必要とする場合、順序を誤ると処理を進められない。
ツールの説明文は用途を探す手掛かりになる一方、実行時の前後関係を十分には示さない。著者らは、選択に役立つ情報と順序に役立つ情報の違いを課題として扱う。
手法
SkillGraphは、成功した処理の記録から重複するツール呼び出しを除き、連続して呼ばれたツールを矢印で結ぶ。矢印の重みは、あるツールの直後に別のツールが現れた割合を表す遷移確率である。依頼文とツール説明の意味的な近さから候補を広めに集め、グラフ上のつながりも使って候補集合を決める。
次に候補を固定し、ツールの二つ組について、どちらを先に呼ぶかを学習済みの並べ替え器で判定する。その判定をまとめ、順序付きの候補列を出力する。たとえば通貨換算の依頼では、換算の前に対応通貨を調べるツールを置く。入力には依頼文、ツール説明、過去の成功履歴を用いる。
新規性
著者らの提案は、依頼に合うツールの選択と、選んだツールの順序付けを別々に扱う点にある。成功した実行履歴を有向グラフにし、説明文だけでは分かりにくい呼び出しの前後関係を両段階で利用する。
新しい順位付けモデル自体を提案したものではない。履歴から得た遷移確率を順序判定の特徴量に加え、構築したグラフを複数の依頼で再利用する。
従来手法との違い
説明文と依頼文の意味的な近さでツールを並べる方法は、依頼に関係するツールを探せても、必要な実行順を示すとは限らない。論文の通貨換算例では、換算ツールより先に、対応する通貨を調べるツールが必要になる。
SkillGraphでは候補集合を選んだ後、その集合を固定して順序だけを決める。著者らは、同じ第1段階の候補を入力した条件で、学習した並べ替え器がLLaMA-3.1-8Bを使う第2段階の並べ替え器を上回ったと報告する。
実験結果
著者らはToolBenchの成功履歴49,831件から、4,988ツールと39,034本の有向のつながりを持つグラフを構築した。約16,000ツールのライブラリを対象とするToolBenchのテスト9,965件では、候補集合の一致を測るSet-F1が0.271、共通候補間の順序の相関を測るKendall-τが0.096だったと報告する。
API-Bankでは、著者らはKendall-τが−0.433から＋0.613に改善したと報告する。評価時の推薦件数は、正解列の長さと3の大きい方に設定された。したがって、正解の長さが分からない実際の依頼で同じ結果が得られるとは言えない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の申請処理で、担当者に順序付きのAPI候補を提示する。入力は申請内容の文、各APIの説明、成功した過去の呼び出し履歴とし、出力は担当者が確認するAPIの候補列とする。
適用には、履歴中のAPI識別子を統一し、実行順を取り出して社内API向けのグラフと並べ替え器を作る必要がある。評価用の正解候補と順序は担当者が確認した履歴から用意し、追加のセンサーは想定しない。業務で有効かは未検証の応用案である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：申請業務を一つ選び、依頼文、API説明、成功した実行履歴を集める。履歴には統一したAPI識別子と呼び出し順が必要で、評価用には担当者が正しい候補と順序を確認したラベルを用意する。追加のセンサーは使わない想定とする。
社内APIの名称と入出力に合わせて履歴を整え、グラフと並べ替え器を作る。説明文の近さだけで選択・整列する方法を基準に、候補集合の一致、共通候補の順序の一致、APIの入力条件を満たす割合を比べる。推薦件数は正解を見ずに決める。
限界と課題
著者らは、履歴で呼び出しが連続しただけでは、API間で引数や返り値が受け渡された証拠にはならないと明記する。また評価では正解のツール列の長さから推薦件数を決めており、実際の依頼に対する件数の推定は扱っていない。
編集上の検証事項は、成功履歴が少ないAPIや新設APIでも候補と順序を出せるか、推薦順が各APIの入力条件を満たすかである。報告された順位の指標だけでは、APIを実行したときの業務完了率は判断できない。
出典
元のタイトル・要旨を確認する（英語）
SkillGraph: Graph Foundation Priors for LLM Agent Tool Sequence Recommendation
LLM agents must select tools from large API libraries and order them correctly. Existing methods use semantic similarity for both retrieval and ordering, but ordering depends on inter-tool data dependencies that are absent from tool descriptions. As a result, semantic-only methods can produce negative Kendall-$τ$ in structured workflow domains. We introduce SkillGraph, a directed weighted execution-transition graph mined from 49,831 successful LLM agent trajectories, which encodes workflow-precedence regularities as a reusable graph foundation prior. Building on this graph foundation prior, we propose a two-stage decoupled framework: GS-Hybrid retrieval for candidate selection and a learned pairwise reranker for ordering. On ToolBench (9,965 test instances; ~16,000 tools), the method reaches Set-F1 = 0.271 and Kendall-$τ$ = 0.096; on API-Bank, Kendall-$τ$ improves from -0.433 to +0.613. Under identical Stage-1 inputs, the learned reranker also outperforms LLaMA-3.1-8B Stage-2 rerankers.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01