新着研究 / VLM / AI Agent
映像の変化を記憶し質問後に過去フレームへ戻るDeltaStreamer、要約で落ちた根拠を再確認
DeltaStreamer
DeltaStreamerの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : Comparison of streaming video understanding paradigms. Compression or truncation in KV-cache reuse and multi-turn dialogue can obscure transitions and discard details needed by later queries. DeltaStreamer records explicit changes in structured memory and uses query-driven planning and targeted replay to recover missing visual evidence.
概要
- ストリームを見ながら場面説明と隣接フレーム間の変化を階層的な記憶へ保存する。
- 質問後は必要な証拠を計画し、記憶で足りない細部を過去フレームの再読で補う。
- OVO-Benchで66.07%、StreamingBenchで59.53%の総合スコアを報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DeltaStreamerの仕組み
- 01到着した映像フレーム
- 02場面と変化の記憶
- 03質問に応じた証拠計画
- 04過去画像の再確認
- 05回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DeltaStreamerは、流れてくる映像の変化を記録し、後から届く質問に応じて必要な画面へ戻る映像理解エージェントだ。ストリーミングでは未来のフレームを先読みできず、観察中にはどの細部が質問されるか分からない。
要約を短くすると記憶を節約できる反面、誰が物を動かしたか、どの状態へ変わったかが落ちることがある。研究は、状態の説明と変化の記録を分け、失われた細部を原画像から取り直せる構造を作る。
手法
質問がない間は、視覚言語モデルが隣接するサンプルフレームを比較し、現在の人物、物、行動、画面内文字と、前からの変化を文章化する。記録を三層の階層グラフへまとめ、要約と元の観察、元フレームを双方向の参照でつなぐ。人物や物の索引も使い、時間の粒度をまたいで探せるようにする。
質問が届くと、計画器が必要な対象、時刻の手がかり、証拠を整理する。計画を後の推論中も保持し、記憶検索、現在の観察、追加観察を選ぶ。たとえば服の細部が説明文に残っていなければ、参照をたどって該当する過去画像を再度読み、文章の記憶だけでは答えられない部分を補う。
新規性
中心は、観察時の明示的な変化記録と、質問に合わせた能動的な証拠回収を接続することだ。似た場面の説明を保存するだけでなく、出来事を区別する状態遷移を文章として残す。
再生は映像全体を毎回読み直す操作ではなく、記憶に付けた出典参照を使う対象限定の確認として組み込む。質問前には広く観察し、質問後には不足する証拠を調べるという役割の切替がある。
従来手法との違い
本文はトークン圧縮、内部キャッシュの再利用、複数ターンの対話で映像履歴を扱う方式を整理する。また、既存のストリーミングエージェントにも計画やツール利用があることを述べている。
提案の比較軸は、変化を直接記録すること、元フレームへ追跡できること、質問の証拠計画を維持することである。圧縮率だけの改善ではなく、記憶の外にある細部を後で回収できるかを重視している。
実験結果
著者らはOVO-BenchとStreamingBenchで代表的な映像理解方式と比較し、総合スコア66.07%と59.53%をそれぞれ報告した。二つの評価集合の値であり、同一課題での前後差という意味ではない。
問題設定では、質問の時点より前の映像と、その後に到着した映像だけへアクセスし、未来の映像は見られない。質問によっては答えるまで観察を続ける。ここでは未確認の課題別精度や一問当たり費用を補っていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：作業場の録画を見ながら、後から「部品はいつ移されたか」と調べる確認支援に使う。入力は時刻付き映像と質問、出力は回答、出来事の変化、確認に使った元フレームにする。
初めの観察で部品の細部を省いても、該当場面へ戻り担当者が確認できる流れを作る。リアルタイムの危険検知性能が実証されたという扱いにはせず、過去の出来事の根拠を集める補助として試す。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：配置変化や物の受け渡しを含む短い録画を時系列に供給し、質問の到着時刻を固定する。場面説明のみ、変化記録付き、元画像の再読付きの条件を同じ回答器で比較する。
正答率、根拠時刻のずれ、記憶にない内容の断定を数える。再読回数、保存容量、質問から回答までの時間も測定する。フレームを保存できない条件も設け、再確認がない場合にどこまで品質が落ちるか調べる。
限界と課題
この構成では、再確認できる元フレームが重要な役割を持つ。文章の記憶だけで失われた画素情報を復元するわけではなく、過去画像へのアクセスを維持できる運用が前提になる。
編集上の確認課題は、長時間の保存費用、サンプル間で起きる短い出来事、出典参照の誤りである。変化の文章化をモデルが取り違える可能性もあるため、記憶が整っていることと出来事の解釈が正しいことは分けて検証する必要がある。
出典
元のタイトル・要旨を確認する（英語）
DeltaStreamer: Towards Human-Like Agentic Streaming Video Understanding
We propose DeltaStreamer, a novel agentic framework for streaming video understanding inspired by how humans observe, remember, and investigate. Streaming video understanding requires a system to retain evidence before knowing which details future queries will need. Existing approaches often obscure event transitions and omit relevant details when compressing video history, and cannot recover missing visual evidence. DeltaStreamer addresses these limitations by combining change-aware memory with query-driven planning and targeted evidence gathering with replay. Before a query arrives, it continuously observes the stream and explicitly records visual changes in structured memory, preserving how events unfold rather than only what is present. When a query arrives, a query-driven planner identifies the required evidence and guides memory retrieval and targeted replay. By revisiting historical frames, the agent can recover visual details omitted during observation and ground its answer in evidence beyond the retained descriptions. This connects continuous observation with active investigation tailored to each question. Experiments on OVO-Bench and StreamingBench demonstrate improvements over representative streaming video understanding methods, with overall scores of 66.07% and 59.53%, respectively. Project page: https://bbbbchan.github.io/DeltaStreamer/
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-15