新着研究 / AI Agent / LLM
コードエージェントの費用はログの大きさよりターン数と関係、キャッシュを含めて委譲の採算を再評価
TurnCost
概要
- 公開された六百の実行履歴で、ツール出力の中央値は118〜286トークンだった。
- ほぼ理想的なキャッシュ条件では入力の98.6%がキャッシュされ、平額計算は費用を約七倍に見積もる。
- ターン数は費用差と強く関係するが、成功率を保ってターンを削れることまでは実証していない。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TurnCostの仕組み
- 01公開実行履歴
- 02ターンと出力を集計
- 03キャッシュを再現
- 04料金条件で再計算
- 05圧縮と委譲を比較
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
コードを直すエージェントは、編集、実行、結果確認、次の判断を繰り返す。長いログを短くしたり安いモデルへ任せたりすれば費用が下がると考えやすいが、実際のログが短く、既存の入力が割引されるなら節約の余地は小さい。
TurnCostは実行履歴を調べ、どの部分が費用を左右するかを分析する。繰り返す判断の回数、出力の長さ、入力のキャッシュを分けて計算し、効率化の対象を実測に基づいて選ぶための研究である。
手法
二つのエージェント構成と二つのモデルにまたがる六百履歴を入力し、各ターンの観測出力と文脈長を集計する。先頭の同じ入力を再利用する接頭辞キャッシュをシミュレーションし、新規入力、キャッシュ読み出し、出力を分けて料金を計算する。
さらにログ圧縮や別モデルへの委譲を仮定して費用を再計算し、委譲が採算に合う条件を式にする。例えば短いテスト結果を安いモデルで要約しても、要約の生成費用が元モデルのキャッシュ読み出し費用を超えれば高くなる。TurnCostは料金や処理方針を変えて履歴を採点し直す道具として提供される。
新規性
一般入力料金だけで節約を計算せず、繰り返し入力の多くがキャッシュ価格で読まれることを費用モデルへ含める。別モデルへの委譲の利益を、高いモデルの通常入力価格ではなくキャッシュ読出し価格に照らす。
また、非常に長いビルドログを典型例とする前提を実際の分布で点検する。出力の大きさとループの長さが別々に変動することを示し、どちらが費用の差をより説明するかを分析している。
従来手法との違い
著者は観測の圧縮、決定的な切詰め、安いモデルへの委譲を異なるキャッシュ・料金条件で比較する。委譲は評価条件の半数で費用が増え、予測した採算境界に近い結果となったと報告する。
大量の出力は存在するが分布の上端に寄り、編集ツールが返すコード周辺情報が観測トークンの大きな割合を占めた。単にビルドログだけを減らす施策と、推論に必要な編集情報を削る施策は扱いが異なる。
実験結果
六百履歴の56,164ターンで、観測中央値は構成別に118〜286トークン、非常に長いログは約九十九パーセンタイルに位置する。入力の98.1〜99.0%がキャッシュから読まれる条件で、平額計算は費用を平均7.14倍に見積もった。
要旨ではターン数が対数費用の分散の84%を説明し、平均観測サイズは4%だったとする。ただしこれは関連の分析であり、必要なターンを削っても同じ成功率を保てるという介入結果ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:社内のコード修正エージェントで、実行履歴と実際の料金条件を入力し、費用が高い案件の原因を整理する。大量ログだけに注目せず、何度も同じ確認をするループや不必要な再試行を探す。
出力はターン数、キャッシュ率、委譲の追加費用を含む案件別の内訳にする。見積りが高い工程を先に点検し、低価格モデルへの切替を一律に入れるのではなく、情報量と追加呼出しの費用が釣り合う箇所を試す。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:最近の成功・失敗履歴を同じ形式で保存し、料金明細に近いキャッシュ条件で再計算する。通常料金のみの見積りとの差を確認し、ログ短縮と委譲の採算を別々に試算する。
実際の変更では、費用と併せて修正成功率、誤修正、処理時間を測る。同じ確認の繰返しを減らす小さな変更から試し、ターン数を減らす目標が必要なテストや情報確認の省略へつながらないかを点検する。
限界と課題
著者は理想に近いキャッシュによる約七倍の差を、すべての配備に共通する定数としていない。実際のキャッシュ保持や接頭辞の変更、モデル料金が変わると採算条件も変わる。
編集上の確認点は、調べた二構成・二モデル以外への一般化と、ターン数削減の因果的な効果である。長い履歴は難しい課題の結果でもあり、単純に回数上限を下げた際の成功と費用の両方を実験で確認する必要がある。
出典
元のタイトル・要旨を確認する(英語)
TurnCost: Turns, Not Observations: Cache-Aware Loop Engineering for Coding Agents
AI coding agents operate in iterative loops: they modify code, run tools, inspect the results, and decide what to do next. We call the design of this process loop engineering, which includes context management, model selection, compaction, and termination. Existing efficiency work mainly compresses tool observations or routes selected turns to cheaper models, but the practical opportunity for these optimizations remains unclear. We analyze 600 publicly released coding-agent trajectories spanning two agent scaffolds and two language models. Median observations contain only 118-286 tokens, while the large build logs commonly used to motivate compression occur near the ninety-ninth percentile. Moreover, 98.6% of input tokens are served from a prefix cache, so flat input pricing overestimates loop cost by roughly 7x on average under near-ideal caching. We derive and empirically validate a closed-form break-even condition for model delegation. Delegation increases cost in half of the evaluated settings, near the predicted boundary. More broadly, turn count explains 84% of the variance in log trajectory cost, compared with 4% for mean observation size; the most expensive trajectories have the most turns despite having the smallest observations. These associations suggest that observation-focused methods target a secondary cost factor, and identify unnecessary turns as the larger and largely unexamined opportunity, though we do not establish that turns can be removed while holding task success fixed. We release TurnCost, a tool for re-scoring trajectory corpora under alternative caching, pricing, compression, and routing policies.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-14




