新着研究 / LLM / AI Agent
会話履歴を圧縮しても計算済みの情報を引き継ぐ、エージェント学習の高速化
KV-streams
文脈を短くした後、残した部分を再計算する方式と、KVキャッシュを引き継ぐ方式を比較しています。計算の再利用だけでなく、学習時の連続した履歴と注意マスクの扱いにも注目してください。
原論文の図の説明を読む
Figure 2: Compaction strategies and their training costs. (A) re-prefill compaction recomputes retained tokens and creates separate training traces. KV-streams preserves retained KVs and trains on a continuous trace with an attention mask that reproduces eviction. (B) context transformations under each strategy (P: prompt; S: summary).
概要
- KV-streamsは履歴圧縮後も残すKVキャッシュを引き継ぎ、再読み込みを省く。
- 著者らのSWE-bench Verified実験では、成功率52.7±2.1％を保ちつつ、最高成績への到達時間は約20時間だった。
- PoCでは速度とともに、削除した履歴が必要になる課題の正答率を測る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、KV-streamsの仕組み
- 01長い作業履歴
- 02不要なKVを削除
- 03残したKVで処理継続
- 04次の行動
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
長時間動く言語エージェントは、操作と環境からの返答を履歴へ足し続ける。その履歴に対応するKVキャッシュ、つまり過去のトークンから計算した参照用の情報も大きくなり、学習時のメモリを圧迫する。
古い履歴を要約・削除する圧縮はメモリを抑えるが、残した文章を圧縮のたびに再計算すると時間がかかる。長い作業を多数並行して学習させる際、この繰り返しが処理量の制約になる。
手法
KVは注意機構が過去のトークンを参照するために保持する計算結果である。KV-streamsは履歴圧縮の時点で推論エンジン内の不要なKV項目を消し、残す項目は再計算せずに使い続ける。例えばファイルを読んだ記録の古い部分を削り、直近の作業記録だけを残して次の編集操作を生成する。
学習側では、削除済みの部分へ注意が向かないよう専用のマスクを使う。これで圧縮前後を一つの連続した処理列として扱える。要約を残す方式や直近の履歴を残す方式など、何を消すかを決める既存の圧縮方針と組み合わせる設計である。
新規性
KV-streamsは履歴を圧縮する方法自体ではなく、圧縮後の計算済み情報を引き継ぐ仕組みである。推論時には不要なKV項目を直接取り除き、学習時には注意マスクで同じ削除状態を再現する。これにより、残した文脈を毎回読み直す計算を避ける。
著者らは、保持したKVが画面上の履歴から消えた情報を運び得ることも示す。制御された記憶課題では、事前の教師あり調整を置かず、強化学習だけでその振る舞いが現れた。
従来手法との違い
従来の再読み込み方式は、履歴を短くした後に新しい処理列を始め、残した文脈を再度モデルへ入力する。そのたびに同じトークンの計算が発生する。KV-streamsは残す部分のKVを保持して処理列を続け、削除した部分だけ参照できなくする。
論文では要約、履歴の半分を残す方法、残す項目を選ぶ方法、直近を広く残す方法を検討した。長く残す方式ほど再読み込みの負担が大きい。学習成績の比較では、同じ圧縮方式の再読み込み版に加えて、履歴を圧縮しない設定も基準にしている。
実験結果
著者らはTextWorld、ALFWorld、ソフトウェア修正課題で比較した。同じ圧縮方式の再読み込み版に対し、TextWorldでは最終成績に達するまでのGPU時間が3.7～11.3分の1となり、ALFWorldでは処理量が1.3～3.0倍になった。いずれも最終成績は同等以上と報告する。
SWE-bench Verifiedの500件では、KV-streamsと直近履歴を残す方式の成功率が52.7±2.1％で、全文脈の51.5±1.2％と誤差の範囲で近かった。最高成績への到達は約20時間、全文脈は65時間超だった。これは著者らの実験条件での値である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：長い作業履歴を持つソフトウェア修正エージェントの学習に使う。入力は修正依頼、ファイルの読み書き結果、テスト結果の連続した履歴で、出力は修正内容と最終回答とする。履歴が設定した長さに達したら古い部分を削り、必要な直近情報のKVだけを引き継ぐ。
学習担当者は、削除前の事実を後で必要とする課題を含める。処理時間が短くなっても、古いエラー内容や要件を取り違えるなら採用しない。実際の顧客案件への適用は別途検証する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：長い作業ログを含む修正課題を選び、同じモデル、履歴上限、圧縮方針で、再読み込み方式とKV-streams方式を比べる。1学習ステップ当たりの時間、総GPU時間、保持する履歴の長さ、課題成功率を記録する。
古い指示を後で尋ねる確認課題も入れ、圧縮後の正答率を測る。途中で要約や削除が何回起きたかを併記し、短い課題だけで速度を判断しない。学習時と推論時で参照可能な履歴が一致しているかも確認する。
限界と課題
著者らは、初期の学習段階では圧縮方式が全文脈方式より成績を損なう場合があると報告する。また、TextWorldとソフトウェア修正の学習実験は単一シードで、圧縮方法ごとの効果は課題に依存する。推論エンジンのKV管理にも実装上の条件があり、使ったエンジンの一方ではブロック境界を合わせるための埋め草が必要だった。
編集上の確認点は、削除した履歴の情報をKVがどこまで残すか、誤情報も残さないか、運用環境の更新や中断時に同じ状態を維持できるかである。速度だけでなく記憶課題の失敗率も測る。
出典
元のタイトル・要旨を確認する（英語）
KV-streams for Efficient Compaction in Agentic Reinforcement Learning
Scaling the horizon of agentic LLMs is bottlenecked by the need to fit ever longer context traces in GPU memory. Context compaction has been the most popular mechanism to alleviate this issue, keeping GPU memory constant for a given trace. Unfortunately, most compaction strategies rely on prefilling the LLM context many times over, hindering training throughput. To alleviate this bottleneck and enable efficient trainable compaction, we propose KV-streams, a plug-and-play strategy compatible with any compaction strategy that substantially increases throughput while showing no evidence of hindering performance. KV-streams enable scalable compaction by streaming the KV cache forward rather than flushing it after each compaction. We show that KV-streams enable three different compaction strategies, achieving a 2.6 to 5x wall-clock speedup in training. Beyond efficiency, we find that the streamed KV cache can act as a recurrent state, carrying forward information that has long since disappeared from the context. Specifically, in a controlled setting we show that, contrary to prior work, RL alone is all that is needed for this behavior to emerge. Overall, we show KV-streams to be an efficient and lightweight plug-and-play addition to any post-training pipeline.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29