新着研究 / AI Agent
最適化の経験を再利用し、課題ごとにエージェントの実行枠組みを調整
Turbo Harness
概要
- 全体最適化で得た試行の成果を、構造化した手引きへまとめる。
- 学習した編集モデルが課題と手引きから、個別の実行枠組みの修正を作る。
- 対話、ソフトウェア開発、長時間の端末作業など七つの評価で既存方式を上回ったと報告する。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Turbo Harnessの仕組み
- 01最適化の試行記録
- 02構造化した手引き
- 03課題別の設定修正
- 04エージェント実行
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
エージェントの性能は基礎モデルだけでなく、指示、道具の使い方、作業の進め方などの実行枠組みに影響される。この枠組みはハーネスと呼ばれ、最適化で共通の設定を探す研究が進んでいる。
全課題の平均で良い設定でも、個々の課題に最適とは限らない。Turbo Harnessは共通設定を出発点に、過去の最適化で得た経験を使って課題ごとに調整する。
手法
まず完了済みの全体最適化で生まれた成果物を回収し、構造化したplaybook、つまり実行方法の手引きにまとめる。新たな課題を解く際に、成功や失敗の経験を再び使える形へ整理する工程である。
その経験を参照して修正を作るハーネス編集モデルを学習する。推論時は課題の内容と手引きを入力し、共通のハーネスに課題固有の変更を加える。実行モデルは変更後の枠組みで作業する。毎回すべての設定を探索し直すのではなく、過去の最適化情報を個別調整へつなぐ設計である。
新規性
全体最適化が一つの共通設定を作って終わることに対し、その過程の成果物を課題別の調整にも使う点が中心である。最適化の経験を捨てずに手引きへまとめる。
編集モデルと実行モデルの役割を分け、課題が到着した時点で設定を修正する。共通設定の平均的な良さを保ちながら、課題による差に対応することを目指す。
従来手法との違い
既存のハーネス最適化は、多くの場合一つの全体設定を各課題へ一律に適用する。本方式では全体設定そのものを出発点として、課題と過去の経験から追加修正を生成する。
改善が出たとしても、編集の追加処理に必要な時間や費用も考慮したい。課題の成績だけを比べると、個別調整の負担を含む実用上の価値を見落とす可能性がある。
実験結果
著者らは、対話型エージェントの課題、ソフトウェア工学、長い端末作業を含む七つのベンチマークで数値実験を行い、既存のハーネス最適化方式を一貫して上回ったと報告する。
確認した要旨には各課題の点数、改善幅、編集にかかる処理時間はない。そのため特定の開発工程でどれほど改善するかは判断できず、用途に近い課題で追試する必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案として、社内の開発エージェントに過去の作業改善記録を与え、修正作業の種類に応じた設定を作る使い方が考えられる。課題と手引きを入力し、担当者が変更内容を確認する。
小さい修正と複数ファイルの改修で進め方を変えられるかが論点になる。修正された設定自体を保存すれば、結果が良かった理由や再現性を後から調べやすい。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、既存の共通設定を固定し、過去の最適化記録を学習用と評価用に分ける。未使用の課題で、共通設定だけの場合と個別修正の場合を比較する。
完了率、不要な変更、処理時間、設定編集の費用を記録する。手引きに評価課題の正解が混ざっていないかも確認し、単なる記憶による改善と区別する。
限界と課題
全体で有効な設定が個別には適さないという問題を扱うが、課題別の修正が常に良くなるとは限らない。編集モデルが課題を誤解すれば、共通設定を悪化させる可能性がある。
編集上は、経験が乏しい課題や別の基礎モデルへの移行を確認したい。変更内容を監査できる記録と、成績が落ちたときに共通設定へ戻す条件を用意する必要がある。
出典
元のタイトル・要旨を確認する(英語)
Turbo Harness: Instance-Adaptive Harness Optimization
Automating the search for effective harnesses is an important step toward enabling agents to recursively self-improve. Existing harness optimizations typically produce a single global harness that is applied uniformly across task instances. However, a harness that works well on average may not be optimal for every instance. We introduce Turbo Harness, a framework that can adapt a globally optimized harness to each instance by reusing information generated during the original optimization process. Specifically, Turbo Harness recycles artifacts produced during a completed global harness optimization run, and summarizes them into a structured playbook. We train a harness editor to leverage this prior optimization experience to generate instance-specific patches to the global harness. At inference time, the editor uses the instance and the playbook to construct a tailored harness in which the execution model operates. Through numerical experiments, we show that Turbo Harness consistently outperforms existing harness optimization baselines across seven benchmarks spanning interactive agent tasks, software engineering, and long-horizon terminal tasks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-01




