アーカイブ / LLM / AI Agent
LLMエージェントのスキルを種類・数・順番まで選ぶSkillComposer
SkillComposer
SkillComposerの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Structured skill composition with SkillComposer. (A) Large skill libraries create a composition bottleneck. To solve complex tasks, an agent must decide not only which skills to use, but also their exact count and execution order. (B) Existing paradigms: directly exposing the agent to all skill options leaves composition implicit within an unstructured execution trace, while retrieval methods only return an unordered subset of candidates. We propose SkillComposer, which explicitly predicts an ordered, executable skill sequence. (C) By structuring the composition process, SkillComposer improves both plan exact match and downstream task success rates on SkillsBench.
概要
- SkillComposerは、依頼に使うスキルの種類・個数・順番を一つの識別子列として予測する。
- 著者らはSkillsBenchの対象75タスクで、スキルなしの場合に対する合格率の上昇を２種類のエージェントで報告した。
- 社内で試すには、担当者が確認した正しいスキル列を用意し、選択精度と実際のテスト合格率を分けて測る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SkillComposerの仕組み
- 01依頼・環境・技能一覧
- 02内容を数値化
- 03技能ID列を予測
- 04順序付き技能計画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LLMエージェントの「スキル」は、テストの実行や複数ファイルの修正などに使う、再利用可能な手順や補助資料のまとまりだ。エージェントは作業に応じて、その内容を読み込む。
スキル一覧が大きくなると、関連するものを見つけるだけでは複数工程の依頼に足りない。著者らは、どれを何個使い、どの順に使うかを、エージェントに渡せる計画として予測する課題を扱う。
手法
SkillComposerは、依頼文、作業環境の情報、固定されたスキル一覧の名前と短い説明を受け取る。文章を数値表現に変え、一覧にあるスキルの識別子を一つずつ予測する。前の予測を次に使う「自己回帰」方式で、終了記号が出るまでの長さがスキル数になる。
例えば旧APIの呼び出しを探して修正し、テストする依頼なら、検索、編集、テストに対応するスキルの順序を予測する。各候補の関連性と必要な個数も別に見積もり、語の一致に基づく検索結果とともに予測へ反映する。識別子を実際のスキルに引き直し、予測した順にエージェントへ読み込ませる。
新規性
SkillComposerは、使うスキルの種類、個数、順番を、依頼に応じた一つの識別子列として予測する。出力を既存スキルの識別子に制限し、終了記号が出た位置で個数を決める。
前に選んだスキルを踏まえて次を予測するため、順序も計画の一部になる。個数と各スキルの関連性を見積もる補助的な予測も、学習と出力時の判断に使う。
従来手法との違い
著者らは、スキルを使わない条件、全スキルを与える条件、埋め込み検索の上位３件を与える条件と、エージェントの実行結果を比較する。スキル選択自体の比較対象には、BM25、TF-IDF、埋め込み検索、LLMによる判定などがある。
検索は候補の関連性を順位で示す。SkillComposerは、先に選んだスキルも考慮して次を選び、終了位置まで予測する。比較の焦点は、候補の選択だけでなく、必要な個数と実行順を計画に含めることだ。
実験結果
著者らは196スキルに対し、実タスク65件、単一スキルの合成タスク2,880件、複数スキルの合成タスク6,927件からなる計9,872件の学習用記録を構成した。選択精度は、同じ合成方法から得た494件と、実タスク65件を学習・検証から除いて評価する条件で調べた。
実行評価はSkillsBenchの対象75タスクで、２種類のエージェントについて各条件を１タスク３回試した。著者らは、スキルなしの場合に比べた合格率の上昇をGPT-5.2-Codexで23.1ポイント、Gemini-3-Pro-Previewで18.2ポイントと報告する。合否は決定的なテストで判定し、各試行の制限時間は1,200秒だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内コードの旧API呼び出しを置き換える依頼に適用する。依頼文、対象リポジトリの状況、検索・編集・テスト用スキルの名前と説明を入力し、使うスキルの順序付き計画を出力する。
適応には社内のスキル一覧と、過去の依頼に対して担当者が確認した正しいスキル列を学習用のラベルとして用意する。追加センサーは想定しない。担当者が計画を確認してからエージェントに渡し、作業結果は別に検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内の検索・編集・テスト用スキルの名前と説明、過去の開発依頼、各依頼に対して担当者が確認した正しいスキル列を集める。リポジトリの状況も入力に含め、社内の一覧と依頼文に合わせて予測器を適応させる。追加センサーは不要とし、別の依頼を評価用に残す。
比較基準はスキルなしと、依頼文との関連度で上位３件を選ぶ方法にする。選択した種類・個数・順番の一致、テストに合格した依頼の割合、入力トークン数を測る。順序を誤った例は担当者が作業記録と照合する。
限界と課題
著者らが置いた条件は、学習時にスキル一覧を固定することだ。新しいスキルを追加した後も同じ選択精度が得られるかは、この条件から判断できない。実行評価はSkillsBenchの88タスクのうち、文書処理など13件を除く75件を対象とする。
編集上の検証事項は、社内固有の作業順序、スキル更新時の適応、誤った順序が作業に与える影響である。確認できた本文の範囲では条件別の実測表や失敗例が見えず、改善幅のばらつきは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Generative Skill Composition for LLM Agents
Recent LLM agents benefit from skills for solving complex tasks. Skills encapsulate modular packages of procedural knowledge and instructions for performing specialized tasks, such as setting up a sandboxed environment, running a test suite, or refactoring a function across multiple files. As skill libraries grow and become reusable across tasks and domains, selecting an appropriate skill composition has emerged as a central bottleneck. Existing approaches fall into two categories. One exposes the agent's reasoning to the entire skill collection; the other performs skill retrieval via embeddings or LLM-based rerankers. Both provide useful insights; however, they miss the structural nature of skill composition, which is a joint decision over which skills, how many, and in what order -- three dimensions that cannot be decoupled. We formalize this as structured skill composition: given a task and a skill library, predict an executable skill plan that jointly specifies the activated subset, count, and execution order. We propose SkillComposer, which instantiates structured skill composition as task-conditioned skill sequence prediction. SkillComposer uses a constrained autoregressive decoder over skill identifiers, so subset, count, and order emerge jointly from a single decoding pass, and dependencies between successive skills are captured naturally. We build a training set of task-composition pairs from a real, human-curated skill library. We then evaluate SkillComposer along two axes: composition quality on a held-out test set, and downstream task success on SkillsBench across two production-grade coding agents. On GPT-5.2-Codex, Gemini-3-Pro-Preview, SkillComposer raises the pass rate by +23.1, +18.2pp over the no-skill baseline, surpassing top-3 retrieval and matching the gold-skill retrieval upper bound at lower prompt-token cost.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01