アーカイブ / LLM / AI Agent
エージェントの手順集を追加・修正・削除で整えるSkillBrew
SkillBrew
SkillBrewの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Three paradigms of skill bank curation. Prior work either (A) accumulates skills without removal, or (B) edits skills based on per-skill signals. We propose (C) global bank-level optimization, which evaluates the entire bank under multi-objective trade-offs and chooses updates via a Pareto-aware selector.
概要
- SkillBrewは、手順集全体の有用性、多様性、網羅性を評価し、追加・書き直し・削除から更新を選ぶ。
- 手順を一つ外す再実行で寄与を調べ、変更案の作成と採否の判定には別の課題群を使う。
- 著者らの固定Qwen2.5-7B-Instruct実験では、ALFWorldの平均成功率は59.0%、WebShopのSucc.は38.4%だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SkillBrewの仕組み
- 01課題と対応履歴
- 02手順の変更案
- 03別課題で候補評価
- 04次の手順集
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SkillBrewは、大規模言語モデル（LLM）を使うエージェントが参照する手順集を整える方法だ。この手順集は「スキルバンク」と呼ばれ、過去の作業から得た再利用可能な指針を、課題に応じて検索して使う。
手順を追加し続けると、重複したものや役に立たないものも残りうる。幅広い課題で必要な手順を取り出せる状態を保ちながら、手順集全体が課題達成に役立つかを確かめる必要がある。
手法
まず手順を検索せずに解いた課題の成功・失敗の履歴から初期の手順集を作る。その後、作案用の課題で手順を使って実行し、該当手順がなかった失敗などから追加案を作る。使われた手順は、一つだけ外して同じ課題を再実行し、結果の差を維持・書き直し・削除の判断材料にする。
例えば商品を選ぶ課題で、条件を確かめる手順を外して結果が変われば、その寄与を調べられる。変更案を組み合わせた複数の手順集を別の課題群で試し、有用性、内容の重複の少なさ、手順が検索され使われる範囲を測る。候補には現状維持も含め、三つの評価が競合する場合は有用性を優先して次の一組を選ぶ。
新規性
SkillBrewは、個々の手順だけでなく、手順集全体を有用性、多様性、網羅性の三つで評価する。有用性を優先し、ほかの指標との兼ね合いを見て次の手順集を選ぶ。
新しい手順の追加に加え、既存手順の書き直しと削除を更新案に含める。案を作る課題群と採否を決める課題群を分け、変更のきっかけとなった事例だけに合わせた選択を避ける設計だ。
従来手法との違い
著者らは、手順を蓄積するVoyager、個別の手順を選別するSkill-Pro、手順集を使わないReActなど、計10手法と比較した。SkillBrewは手順集全体を評価し、追加・書き直し・削除を組み合わせた候補から選ぶ。
エージェント本体をQwen2.5-7B-Instructに固定したALFWorldの平均成功率は、SkillBrewが59.0%、Skill-Proが49.3%、Voyagerが47.0%だった。差が示されたのは、このベンチマークと実験条件に限られる。
実験結果
著者らは、文章で家庭内作業を進めるALFWorldと、模擬通販のWebShopで評価した。ALFWorldでは学習課題から200件を作案用、valid_seen全件を選別用、valid_unseen全件を結果報告用に使用した。WebShopは標準のテスト分割500件を使った。
本体をQwen2.5-7B-Instructに固定した条件で、著者らの表ではALFWorldの平均成功率がSkillBrew 59.0%、ReAct 31.2%だった。WebShopでは商品属性の一致を測るScoreが59.3対46.2、必須属性がすべて一致した割合を示すSucc.が38.4%対19.5%だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内IT問い合わせに答えるエージェントの対応手順集を整理する。入力は問い合わせ文、対応履歴、解決・未解決の記録とし、出力は次の問い合わせで検索して使う手順集とする。履歴には手順の適用条件も記録する。
解決記録を成否ラベルとして、作案用、選別用、最終確認用に案件を分ける。既存手順を一つ外した再実行も試し、担当者が内容を確認して社内の用語と運用条件に合わせる。必要な入力は文書と履歴で、この案では追加センサーを想定しない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一種類の社内IT問い合わせを選び、問い合わせ文、対応の過程、解決・未解決の記録を集める。解決記録を成否ラベルとし、案件を作案用、変更案の選別用、最終確認用に分ける。文書と履歴を入力に使い、追加センサーは設けない。
既存エージェントの手順集なしの対応を基準に、手順の追加・書き直し・削除を試す。最終確認用案件で解決率、誤案内率、手順の参照割合、再実行回数を比べる。担当者が各手順の内容と適用条件を確認し、業務に合わせて修正する。
限界と課題
著者らは、手順ごとの寄与を調べる再実行には費用がかかると説明し、結果を複数の段階や反復で共有する仕組みを使っている。エージェント本体も学習で更新する手法は、今回の固定した本体という比較条件から外している。
編集上の検証事項は、実務の解決・未解決を一貫して判定できるか、問い合わせの種類が変わっても手順が役立つか、再実行の負担に見合うかである。確認できた本文の範囲では、社内問い合わせでの検証結果は示されていない。
出典
元のタイトル・要旨を確認する（英語）
SkillBrew: Multi-Objective Curation of Skill Banks for LLM Agents
Retrieval-augmented LLM agents increasingly rely on curated skill banks: collections of reusable textual principles that guide decision making on complex tasks. Existing approaches typically expand these banks in an append-only fashion, continuously adding new skills without removing redundant, outdated, or harmful ones, resulting in inefficient and poorly curated repositories. In this paper, we formulate the skill bank curation as a constrained multi-objective problem: a desirable bank must be useful for the agent, diverse in its content, and provide good coverage of the query distribution. To this end, we introduce SkillBrew, a multi-objective curation framework that formalizes skill bank curation as Pareto-aware optimization under a utility constraint, and solves it via a bi-level propose-then-verify loop. We evaluate our approach on two public benchmarks. Our findings suggest that treating skill banks as objects of principled curation, rather than ever-growing append-only logs, is an important step toward building self-improving LLM agents.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01