アーカイブ / LLM / AI Agent
基盤モデルを固定したまま更新を記録するコード修正エージェントSEA
SEA
概要
- SEAは基盤モデルを固定し、作業方針と版を管理する実行設定の更新判断を記録する。
- 52件のSWE-bench Verified部分集合で、対照条件と比べた解決件数はGLM 5.2で24件から28件、GPTと記されたモデルで29件から34件だった。
- 報告された評価は単回実行であり、実行間のばらつきと制御器を組み合わせた保証は確認されていない。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SEAの仕組み
- 01不具合の文章
- 02再現テストの選別
- 03修正候補の探索
- 04実行結果と採否記録
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SEAは、自分の振る舞いを更新するエージェントを扱う。エージェント自身が次に使うデータ、評価方法、部品まで作ると、更新後の成績を何に照らして判断するかが難しくなる。
従来の学習理論には、課題や評価器が学習者とは独立に決まることを前提とするものがある。その前提が崩れても結論が必ず誤るわけではないが、元の定理だけで自己更新の妥当性を保証することはできない。
手法
SEAは基盤となる言語モデルを固定し、短い作業方針を選ぶ部分と、指示文・道具・作業予算などを含む実行設定を更新する。たとえば不具合の文章からモデルが再現テストを作り、未修正のコードで失敗したテストだけを探索に使う。候補の修正はテストを実行して確かめ、探索に使うテストと最終成績を測るためのテストは分ける。
更新の判断には、結果を途中で何度見ても判定基準を保つことを狙う「いつでも有効な」統計的な門を設ける。判断と誤判定に割り当てた予算は監査用の記録に残す。ただし、これは構成全体の保証が証明されたという意味ではなく、本文には評価時の構成から一部の機構を外した記述もある。
新規性
SEAの特徴は、自己変更を短い作業方針の選択と、版を管理する実行設定に限定し、更新の判断と誤判定に割り当てた予算を記録する構成にある。基盤モデルの重みは、報告された実行では更新しない。
著者は既存研究の保証を五つの制御器に組み込む一方、その組み合わせが自己生成データの循環下でも保証を保つという新しい証明は示していない。
従来手法との違い
追加機構の効果を見る対照は、同じ基盤モデルで機構を働かせない「何もしない」複合制御である。著者は二つの強い基盤モデルでこの対照を設け、モデルを替えた効果と追加機構の効果を分けて報告した。
関連する既存の理論は、課題や評価器などが学習者から独立している条件で証明されている。SEAはエージェント自身がそれらを作る状況を対象にするが、条件を外れたときに保証が必ず失われるとは主張していない。
実験結果
著者はSWE-bench Verifiedから選んだソフトウェア修正課題52件を、四つの基盤モデルで評価した。基盤モデルの能力差が最も大きい効果だったと報告する。二つの強いモデルでは、追加機構を働かせない対照条件も設けた。
その対照との解決件数の比較は、GLM 5.2で24件から28件、GPTと記されたモデルで29件から34件である。34件は52件中約65%に当たる。著者は動作記録で機構の作動と後退の防止を確認したと述べる。評価は単回実行で、ばらつきは示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:社内の不具合票を受け、修正候補と検証記録を開発者に渡す。入力は不具合の文章、対象コード、既存テストとその実行結果とし、出力は修正候補、再現テスト、採否の記録とする。採用判断は開発者が行う。
必要な元データは不具合票と対象リポジトリである。初期試行ではモデルの追加学習用データや正解ラベル、物理センサーは用意せず、テスト手順を対象環境に合わせて設定する。この用途での改善は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:少数の既存不具合票、対象コード、実行可能な既存テストを選ぶ。同じ課題と基盤モデルで、更新機構を働かせない条件とSEA型の設定を比べる。追加のモデル学習用データや正解ラベル、物理センサーは使わず、判定用には独立したテストの合否と開発者による修正確認を用意する。
対象リポジトリのテスト手順を実行設定に組み込み、生成した再現テストが未修正状態で失敗するかを先に確認する。その後、独立したテストで解決した件数、既存テストで見つかる後退の件数、採否記録の欠落件数を測る。複数回実行して結果のばらつきも調べる。
限界と課題
著者が明記する制約は、高コストの評価を各条件で一回しか実行しておらず、実行間のばらつきが分からないことだ。課題ごとに探索手法の組み合わせを調整することも今後の課題とする。五つの制御器を組み合わせた保証は、自己生成データの循環下では証明されていない。
編集上の検証事項は、生成した再現テストが不具合票の意図を表すか、修正が別の機能を壊さないかである。独立したテストと開発者の確認が要る。別の開発現場で同じ成績になるかも、確認できた本文の範囲では判断できない。
出典
元のタイトル・要旨を確認する(英語)
Self-Evolving Agents with Anytime-Valid Certificates
Self-evolving agents violate the assumption behind most learning-theoretic guarantees: the data, evaluator, components, and hypothesis space are produced by the policy being updated. We present \textbf{SEA}, an architecture that confines self-modification to a small steering adapter and a versioned harness around a \emph{frozen} base model and admits each modification only through an anytime-valid gate that emits an auditable certificate against a fixed error budget. Five loop controllers compose published guarantees; because such gates can only \emph{select} among behaviors the frozen base already produces, five verifier-in-the-loop mechanisms -- best-of-$N$, micro-step search, self-authored reproduction oracles, search-layer control, and self-repair -- supply the dense, grader-free signal the gates require, computed from the issue text alone. On a $52$-instance SWE-bench Verified subset across four base models, base capability is the dominant, confound-free effect, and on two strong base models a deliberate no-op-composite control isolates the suite's contribution at $+4$ and $+5$ (\textsc{Glm}~5.2 $24\to28$; \textsc{Gpt} $29\to34$, the $65\%$ best), with event logs confirming that its mechanisms fire and prevent regressions. Results are single-run on expensive evaluations; confirming run-to-run variance and adapting the per-task algorithm mix are future work.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




