表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

いつ文脈を圧縮し、どう作業を続けるかを学ぶコーディングエージェント

AutoCompact

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

AutoCompactの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: Length-triggered compaction versus AutoCompact. Under length-triggered compaction, the agent keeps accumulating context after the bug is localized, such as repeated searches with long outputs, and summarizes only when the context limit is reached. AutoCompact lets the model decide (1) when to compact, (2) what to keep, rewriting useful findings into a working-state summary while dropping stale exploration, and (3) how to continue from it.

出典:AutoCompact / arXiv ↗

概要

  • 圧縮の時機、残す作業状態、圧縮後の行動を一緒に学習する。
  • 誤った判断や要約を修正してから実行し、その軌跡をSFTと強化学習に使う。
  • SWE-bench Verifiedで9.2ポイント、SWE-PolyBench Verifiedで5.0ポイント改善した。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、AutoCompactの仕組み

左から右へ読む
  1. 01調査・編集の履歴
  2. 02圧縮判断と状態要約
  3. 03要約に沿う作業継続
  4. 04成功報酬で学習

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

AutoCompactは、コード調査や編集が長く続くエージェントに、文脈をまとめ直す判断を学ばせる。履歴が増えると、古い探索結果や大量の出力が現在の問題を見えにくくし、限界まで履歴を残すだけでは作業効率が悪くなる。

必要なのは容量を減らすことに加え、未解決の問題、変更済みの内容、次の確認を残して継続する能力だ。本研究は圧縮を独立した要約処理ではなく、課題を完了する行動の一部として扱う。

手法

基盤エージェントをコーディング課題で動かし、判定役が圧縮の判断、要約、圧縮後の行動を点検する。問題がある出力は修正版へ置き換え、その内容を実際に環境で実行して以降の軌跡を集める。修正前の状態と修正後の行動がずれた学習例を避ける構成だ。

軌跡で教師あり追加学習を行った後、課題成功の報酬でコード作業と圧縮を共同最適化する。作業状態の要約は元の課題と最近の対話に添える。例えば構文エラーが未解決なら、その情報を残すだけでなく次に修正を行う必要があり、要約と後続行動の整合も学習対象になる。

新規性

いつ圧縮するか、何を保存するか、保存した状態からどう動くかを一緒に訓練する点が中心だ。圧縮した内容の情報量だけでなく、その内容が次の行動を正しく制約するかを重視する。

修正した要約を置くだけで元の軌跡を続けるのではなく、修正出力から実行を続ける。成功報酬によって、見た目の良い要約より実際に使える作業状態へ改善することを狙う。

従来手法との違い

既存の方式には、圧縮の指針をプロンプトで与えるもの、履歴の表現を工夫するもの、要約の作成だけを学習するものがある。AutoCompactは後続のコード行動まで直接監督する構成として比較される。

同じ学習済みモデルで圧縮呼び出しを無視する比較も行う。その場合は要約を作らず元の履歴で続けるため、性能差が学習による一般能力の向上だけなのか、実際の圧縮にも依存するのかを調べられる。

実験結果

著者らはSWE-bench Verifiedで基盤モデル比9.2ポイント、SWE-PolyBench Verifiedで5.0ポイントの合格率改善を報告する。評価した推論予算すべてで改善し、256K文脈と、容量超過時に補助圧縮する16K文脈の両方で効果を確認した。

圧縮を無視した比較より通常実行の合格率が高く、本文は低予算で差が大きいと説明する。事例では、未解決構文エラーを残しながら終了するSFT版に対し、強化学習後は状態と整合する検証を行い、テストに通った。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案は、大きなリポジトリの改修を長時間続ける開発支援だ。調査結果、差分、失敗したテストを入力し、未解決事項と次の手順を残した作業状態を出力して実行を続ける。

担当者は、単に履歴が短くなったかではなく、不要な再調査を減らし、未修正の問題を見落とさないかを見る。複数ファイルの修正で、完了済みの作業と残る検証の対応を保つ用途が考えられる。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案では、同じ修正課題を容量到達時の圧縮と能動的な圧縮で比較する。テスト合格率、総トークン、実行時間、圧縮後の再読込回数を記録し、予算をそろえる。

要約の情報網羅だけでなく、未解決エラーがあるのに終了する割合や、変更済みファイルを誤認する割合も測る。小さい文脈と大きい文脈を分けて試し、単なる容量制約の緩和以外に効果があるか確認する。

限界と課題

著者らは資源制約により強化学習を32K系列で行い、256Kでの評価より短かったと述べる。また、圧縮機構とモデルの共同設計は単一のエージェント構成内で検証されている。

編集上の確認事項は、別のツール構成や言語、長い業務課題への転用である。要約が正しいだけでは後続作業が成功しないため、圧縮直後の行動と最終結果を継続して点検する必要がある。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

AutoCompact: Learning When to Compact Context in Long-Horizon Coding Agents

Coding agents solve repository-level software engineering tasks through long trajectories of code inspection, search, editing, and testing. As a task progresses, earlier exploration becomes stale, so managing context is more than avoiding overflow: an agent must decide when to compact, what working state to preserve, and how to continue from it. We introduce AutoCompact, which trains a coding agent to make these decisions as part of its policy. To collect training data, we run the base agent on coding tasks and use a judge to review its compaction decisions, summaries, and actions after compaction. Flawed outputs are replaced with corrected ones before being executed in the environment, so each trajectory continues from the corrected decisions. We use these trajectories for supervised fine-tuning, then jointly optimize coding and compaction through reinforcement learning with task-success rewards. Experiments on SWE-bench Verified and SWE-PolyBench Verified show that AutoCompact improves pass rates over the base model by an absolute 9.2\% and 5.0\%, respectively. The improvements hold across all evaluated inference budgets, with a 256K context window that never overflows and with a 16K window whose overflow triggers fallback compaction.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-04