新着研究 / LLM / AI Agent
実行中のAIエージェントが使うトークン量を、履歴の増加まで含めて予測する
TokenCast
上段の青い領域は観測済みの実行、オレンジ色はこれから起こる呼び出しです。左下では実行中の1回の呼び出し、右下では将来の呼び出しも含めた残りのトークン消費を予測します。
原論文の図の説明を読む
Figure 2 : Overview of TokenCast. Observed execution evidence supports call- and task-level forecasts, while the compositional path propagates predicted context growth into later-call costs.
概要
- 入力履歴の増加が後続の複数回の呼び出しに及ぼす消費を、区間の結合で表す。
- 四課題群・六モデルの96条件で、最良の比較手法に対する平均絶対誤差の削減率は平均14.5％だった。
- 21.3％のトークン節約はオフライン再生での結果で、タスク成功率の改善を示す値ではない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TokenCastの仕組み
- 01依頼と実行履歴
- 02区間の消費を予測
- 03文脈増加を合成
- 04残りのトークン数
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LLM（大規模言語モデル）がツールを使うエージェントでは、同じ依頼でも調査、修正、再試行の回数が変わる。過去の会話やツール出力が入力履歴に残ると、その履歴が後の呼び出しで繰り返し読み込まれ、消費トークンが増える。
そのため依頼文だけから最終消費量を決め打ちしにくい。予算を管理するには、開始時の見積もりだけでなく、実行途中に判明した呼び出し回数や入力長を使って、残りを更新する必要がある。
手法
TokenCastは連続するモデル呼び出しを区間として扱う。各区間について呼び出し回数、次区間へ持ち越す入力履歴の長さの変化、開始時の入力長では説明できない消費量を予測する。例えば調査結果を履歴に加えた後で三回呼び出すなら、その追加部分が三回分の入力消費に効くことを、区間をつなぐ計算へ含める。
学習には完了済みの実行記録を使い、将来の消費を一度に予測する経路と、近い区間・後続区間に分けて予測する経路を組み合わせる。各呼び出しの開始時には実際の入力長を、終了後には確定した消費量やツール結果を反映し、残りの予測を更新する。予測範囲も別の分位点モデルで求める。
新規性
TokenCastは、処理区間を「呼び出し回数、入力文脈の増減、開始時の入力長を除いた消費量」の三つで表す。前の区間で増えた文脈が後の呼び出しで何度も入力される分を、区間の結合式で計算できる点が中核だ。
実行前の見積もりに加え、呼び出しの開始時、生成中、呼び出し終了後にも予測を更新する。予測のためにLLMを追加で呼び出さず、観測済みの実行情報を使う。
従来手法との違い
著者は、単一応答の長さを見積もるTRAIL、EGTP、TIEと、タスク単位のSelf-Predictionを、各予測時点で使える情報に合わせて比較した。96通りの条件で、最も誤差の小さい比較手法に対する平均絶対誤差の削減率は平均14.5％だった。
ただし開始前と呼び出し開始時には計24条件で最良の比較手法に及ばなかった。強みは実行が進んで情報が増えた時点にあり、開始前から常に最良の見積もりが得られると読むべきではない。
実験結果
著者はSWE-bench Verifiedなど四つの課題群、六つのエージェント用LLMから得た11,712本の実行記録を評価した。指標は平均絶対誤差で、予測値と実際のトークン数のずれの平均を表す。96条件での削減率は平均14.5％だった。
SWE-bench VerifiedのGPT-5.4では、呼び出し終了後の残量予測誤差が比較手法の115,000から80,000トークンになった。予算制御のオフライン再生では、実行記録の終端到達率を揃えて平均21.3％少ないトークンを使った。毎回更新した際の累積予測時間は、一実行当たり平均32.8 msと報告される。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内のコード修正エージェントで、依頼ごとのトークン予算を監視する。入力は依頼内容、組み立て済みのモデルへの入力長、生成中の文字列、完了した呼び出しとツール結果である。出力は、残りの推定トークン数と予測範囲にする。
担当者はテスト失敗後に予測が増えた理由を確認し、予算内で追加調査を続けるかを判断する。論文の節約率は記録済み実行の再生に基づくため、この運用で同じ節約を見込む前に、実際の完了率を測る。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象エージェントの完了済み記録をタスク単位で学習用と評価用に分ける。同じ評価用記録で、過去の消費量の中央値を使う見積もりとTokenCastを比べ、開始前と各呼び出し後の平均絶対誤差を測る。
続いて予算の異なる停止条件を記録上で再生し、消費トークン、終端への到達率、成功したタスク数を別々に確認する。予測範囲に実消費量が入る割合と、更新処理の時間も測り、見積もりを運用判断に使えるかを判断する。
限界と課題
著者は予算制御をオフライン再生で評価しており、21.3％の節約は記録された実行の終端まで到達した割合を揃えた結果である。修正が正しかった割合や、実運用での利用者の判断を測った値ではない。
別領域への転用にも注意が要る。未見のタスク領域では、追加学習なしの誤差が比較手法より大きい条件があり、対象領域のタスク20件で適合すると改善した。編集上は、実行環境の変更や入力履歴の削除が予測にどう影響するかを確認したい。
出典
元のタイトル・要旨を確認する（英語）
TokenCast: Forecasting Token Consumption During LLM Agent Execution
When a large language model (LLM) agent executes the same task, token consumption can vary by over an order of magnitude across runs. The agent chooses its next steps based on tool feedback and intermediate results, while the growing context steadily inflates the input size of every subsequent call. The total consumption of a task is therefore hard to predict before execution and the prediction must be revised as the run unfolds. In this paper, we propose TokenCast, which learns a composable cost representation for each execution segment, recording its own consumption and the context growth it introduces. Composing adjacent segments yields a cumulative estimate that captures the extra input cost incurred when context from earlier segments is re-read by every later call. As execution unfolds, newly observed evidence refreshes the forecast, requiring no additional LLM calls and incurring a mean cumulative prediction time of 32.8 ms per run on SWE-bench Verified. Across 4 task suites and 6 agent models, TokenCast's mean absolute error reduction against the strongest comparator averages 14.5% over 96 evaluated combinations. In offline budget-control replay, TokenCast uses 21.3% fewer tokens on average than a fixed-budget policy at matched trace completion. The code is available at https://github.com/DEFENSE-SEU/TokenCast.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29