新着研究 / AI Agent / LLM
エージェントの手順書を必要時だけ読むと、トークンと手順選択はどう変わるか
Progressive Disclosure of Agent Skills
Progressive Disclosure of Agent Skillsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: (a) Under the eager loading regime, skill-retrieval quality degrades as the skills library size N N grows (Qwen3-8B). (b) Under the eager loading regime, the larger core LLM (Qwen3-14B) is reliable against easy/medium-difficulty skill distractors, but susceptible to hard distractors. (c) Under the progressive disclosure regime, the LLM core is invoked more often which increases latency, especially for smaller values of the library size N N .
概要
- スキルの名前と説明を先に示し、選んだスキルの本文だけを後から読む方式を検証した。
- 手順数50、Qwen3-14Bでは平均トークン数が81.7％減り、確認コードを含む正答率も上昇した。
- 追加のモデル呼び出しで遅くなる例があり、モデルと手順数によって正答率が下がる条件もあった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Progressive Disclosure of Agent Skillsの仕組み
- 01利用者の依頼
- 02手順名と説明を提示
- 03関連手順の本文を読込
- 04手順に沿う回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AIエージェントには、特定の依頼を処理するための名前付き手順書を追加できる。報告ではこれを「スキル」と呼ぶ。手順が増えるたびに全文を言語モデルへ送ると、入力のトークン数が増え、費用や入力上限、手順の選び間違いに影響する。
そこで、最初は手順の名前と説明だけを見せ、必要になった本文を後から読む「段階的開示」を検討する。現場では節約量だけでなく、正しい手順を選べるか、応答が遅くならないかが重要になる。
手法
段階的開示では、管理部分が全スキルの名前と短い説明をモデルに渡す。モデルが依頼に合うスキルを指定すると、管理部分がその本文を読み込み、次のモデル呼び出しに加える。たとえば旅費申請の依頼なら、候補一覧から旅費の手順を選び、必要な処理内容を本文で確認する。
実験では各手順本文に固有の確認コードを入れ、依頼に合う手順名とコードの両方を返せた場合を成功とした。コードは、名前を推測しただけでなく本文を読めたかを確認するための仕掛けである。一括読み込みは全手順の本文を最初に渡し、両方式のトークン数、成功率、待ち時間を比べた。
新規性
この報告の焦点は、手順書の段階的な読み込みを、トークン量だけでなく、正しい手順を選べるか、全体の待ち時間、入力上限による失敗まで同じ条件で比べた点にある。手順名だけ当てても本文の確認情報を返せなければ成功とはしない。
手順数と紛らわしい候補の難しさを変え、３種類の言語モデルで測定した。段階的な読み込みの利点と、追加のモデル呼び出しによる遅延を同時に示している。
従来手法との違い
基準は、全手順の本文を最初からモデルに渡す一括読み込みである。段階的な読み込みでは、まず全手順の名前と説明を示し、モデルが選んだ手順の本文だけを次の呼び出しで渡す。後者は読む文章を減らせるが、選択のための呼び出しが増える。
手順数50、Qwen3-14Bでは平均トークン数が14,875から2,719へ減り、正答率は0.13から0.72へ上がった。一方、Qwen3-8Bの手順数20では正答率が0.68から0.38へ下がり、常に有利とはいえない。
実験結果
著者らは手順数５、20、50、100、３種類の言語モデルで比較した。各条件は24依頼×３回の72試行で、Qwen3-14Bの手順数50では段階的開示により平均トークン数が81.7％減り、成功率は0.13から0.72になった。手順数100では、一括読み込みは全試行で入力上限による失敗となった。
待ち時間には代償がある。Qwen3-8Bの手順数50では平均1.75秒から2.01秒へ約15％増えた。手順数20の同モデルでは成功率も0.68から0.38へ下がっており、効果はモデルと手順集合に依存する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内ヘルプデスクのエージェントに、旅費申請、権限申請、問い合わせ分類などの手順書を多数登録する。入力は社員からの依頼文、出力は選ばれた手順名と、その手順に従った案内である。
最初に手順名と短い説明だけを読ませ、依頼に合う手順を選んでから本文を読み込む。担当者は誤った手順の選択と案内内容を確認し、応答時間とモデルに送ったトークン数も記録する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：現行の手順書から実際の依頼に対応する小さな集合を作り、全本文を渡す方式を基準とする。同じ依頼を段階的開示にも通し、正しい手順名の選択、本文に基づく回答、入力上限による失敗を記録する。
手順数を増やし、似た名前や説明の手順を混ぜて再測定する。１依頼あたりの総トークン数と利用者が待つ時間は、追加のモデル呼び出しも含めて集計する。節約額だけでなく、誤案内の増減を採否の中心に置く。
限界と課題
著者らの実験は、各依頼に必要な手順が一つという設定で、手順本文内の確認コードを返せるかを測る。複数手順の組み合わせ、手順に付属するスクリプトや参照資料をいつ読むか、実務の完了品質はこの結果だけでは分からない。
編集上の確認事項は、紛らわしい名前の手順が増えたときの誤選択率、追加呼び出しの待ち時間、実際の依頼の長さによる費用差である。手順本文の内容を実行に使う場合、その妥当性も別に点検する。
出典
元のタイトル・要旨を確認する（英語）
Report: Progressive Disclosure of Agent Skills
Users of Workday's deployed LLM-based agents often request features which can be addressed by defining named procedures, also known as skills, in the LLM context, effectively augmenting agents' capabilities. However, as an agent's skills library grows in size, so does the agent's operational cost. Progressive disclosure (lazy-loading) of skills as needed may reduce operational costs, but its impact on overall latency and skill-retrieval quality remains unclear. In this report, we investigate the impact empirically and find that progressive disclosure improves skill-retrieval quality but marginally degrades overall latency.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29