表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

実装手順を横断検索するCode Skill Server、993スキルの選別でコード生成を支援

Code Skill Server

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Code Skill Serverの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: Code Skill Server: A large-scale search engine for identifying and combining relevant code generation skills. The server indexes skills from diverse sources, retrieves relevant skills according to the user query, and provides the selected skills to guide code generation.

出典:Code Skill Server / arXiv ↗

概要

  • 複数の公開元からスキルを集め、統一形式と能力別の索引で検索する。
  • BigCodeBenchの合格率は53.42%から60.88%、CoderEvalでは最良構成で33.04%から46.96%になった。
  • 検索法ごとに得意な課題が違い、スキル追加で成功から失敗へ転じた例もある。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Code Skill Serverの仕組み

左から右へ読む
  1. 01コード生成課題
  2. 02検索要求の構造化
  3. 03スキル索引の検索
  4. 04手順を使ったコード生成

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

コード生成エージェントへ、実装手順やテストの作法をまとめたスキルを渡すと、モデル内部にない具体的な知識を補える。しかし公開元が増えると、必要な手順を人が毎回探し、前提条件まで読む負担が大きくなる。

既に整理されたライブラリから選ぶだけでは、外部からの収集や重複整理が残る。Code Skill Serverは、この準備から検索、コード生成側への提供までを一つの仕組みとして扱う。

手法

サーバーは公開スキルを収集し、重複や対象外の内容を除き、共通形式へ整える。能力別の分類は同じ集合への論理的な絞り込みとして使い、複数の能力を要する課題でも横断して候補を選べるようにする。評価では993件の集合を固定した。

クライアント側のFASTADAPTが課題文やコード文脈から検索文、必要能力、件数、入力長の予算などを構成する。サーバーは設定した検索法で候補を返し、生成エージェントが使用する手順を決める。例えばデータを文字列として符号化する課題なら、型や変換順に関する手順を元の要求へ補う。

新規性

検索アルゴリズム単体ではなく、異なる公開元のスキルを同じ検索資源へ変換し、複数の検索法と生成モデルで共有できる提供基盤を作る点が中心だ。サーバーの選択とエージェントの利用判断を分けている。

統一した993件に対し検索法を交換するため、スキル集合の違いと検索法の違いを混同しにくい。集合の規模や整理の効果も別に評価する設計である。

従来手法との違い

外部スキルを渡さない条件を基準に、単語一致を使うBM25、依存関係を扱うGraph-of-Skills、SkillTraceを比較した。コードの正解例や隠しテストの結果は検索要求にも生成入力にも含めない。

BigCodeBenchではSkillTraceが最良だったが、既存プロジェクトの文脈を要するCoderEvalではGraph-of-Skillsが上回った。同じ手順集合でも、検索法の選択が課題によって変わることを示す。

実験結果

著者らの主実験では、1回の最終生成が全テストを通る割合であるPass@1を測った。BigCodeBenchは53.42%から60.88%、CoderEval-Pythonは最良構成で33.04%から46.96%となった。後者は約13.92ポイントの差で、相対増加率とは異なる。

5モデルの横断評価では全モデルが4.21〜7.46ポイント改善した。一方、BigCodeBenchの対応比較で112課題が失敗から成功へ転じ、27課題は成功から失敗へ転じた。全体の利益が個別課題の改善を保証しない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:社内ライブラリの使い方、移行手順、テスト例を検索可能なスキルとしてまとめ、開発依頼に応じて生成エージェントへ渡す。入力は変更要求と関連コード、出力は推奨手順とそれを参照した実装案にする。

まず定型のデータ変換やAPI更新に絞り、レビュー担当者が手順の適用可否を確認する。社内規約へ適用する提案であり、公開スキル集合での成績をそのまま期待するものではない。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:過去の開発課題を固定し、スキルなし、単語検索、関係を使う検索を同じモデルで比べる。正解実装を検索集合へ混ぜず、同じ件数と入力長の上限で検索条件をそろえる。

テスト合格率、取得した手順の適合率、入力トークン数、レビュー修正時間を測る。成功から失敗へ転じた課題を確認し、不要な手順の混入か、手順の誤使用かを分けて整理する。

限界と課題

評価は二つのコード生成ベンチマークと固定したスキル集合であり、長期の保守作業や組織ごとの品質を直接測ったものではない。検索で関連性が高くても、その手順の前提が対象コードに合うとは限らない。

編集上の確認課題は、古い手順の更新、相反する規約の扱い、収集元の品質管理だ。スキル数を増やした実験の効果も、この集合と検索条件での結果として読み、無制限な収集の効果へ広げないことが必要になる。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Code Skill Server: A Large-Scale Search Engine for Code Generation Skills

Agent skills have proven to be an effective technique for improving agent ability on specific tasks, including software engineering, natural science, and mathematics. During such a process, using agent skills often involves manually discovering and organizing skills from heterogeneous sources, while existing skill retrieval methods mainly focus on selecting relevant skills from established skill libraries. However, with the rapidly increasing number and variety of reusable agent skills, manually searching for relevant skills across heterogeneous sources is becoming impractical at scale. In this paper, we introduce the Code Skill Server (CSS), a large-scale search engine for finding the most useful code generation skills for a target task. CSS consists of a skill server that incrementally collects and indexes publicly available code generation skills from multiple sources, with 993 skills included in the corpus used in this work. Extensive experiments across different retrieval methods and code generation benchmarks show that the best CSS configuration improves Pass@1 by up to 13.91% and consistently improves all evaluated models by at least 4.21% in the cross-model evaluation. These results demonstrate that CSS can effectively search for and serve relevant skills, improving code generation quality and enhancing models' code generation capabilities. Code and the CSS-993 corpus are available at {https://github.com/haoyuli-sdu/CodeSkillServer}.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-19