アーカイブ / VLM / Computer Vision / AI Agent
長時間動画の出来事をつなぎ、質問に必要な場面を探すHomer
Homer
Homerの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of Homer . Each incoming clip is processed online into a Perceptual Buffer of key frames, an Entity Graph of character-centric episodic and semantic memories, and an Event Graph of narrative segments linked by temporal and causal edges. At question time, an agentic reasoner decomposes the query and performs multi-turn retrievals at progressively finer granularity to produce the final answer.
概要
- Homerは順次届く動画から代表画像、人物別の記録、出来事の前後・因果関係を持つ記憶を作る。
- 質問時は出来事から細部へ検索し、証拠が乏しければ検索先や課題を見直す。
- 著者らは三つの評価対象で従来の最良のエージェント手法をそれぞれ5.5、10.8、4.4ポイント上回ったと報告する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Homerの仕組み
- 01順次届く動画
- 02代表画像と人物記録
- 03出来事の関係付け
- 04段階的な検索
- 05質問への回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Homerは、順次届く長時間動画を記憶に整理し、後からの質問に答える手法だ。数十分から数時間の動画では画像が大量になり、答えの手掛かりも離れた時点に散らばる。質問のたびに映像全体を読み直す方法は、記憶量の制約がある設定に合わない。
短い概要だけを残せば細部を失いやすく、細部を大量に残せば必要な場面を探しにくい。さらに、ある行動の理由を答えるには、出来事の順序だけでなく、そのつながりもたどる必要がある。
手法
動画を一定長のクリップに分け、場面の切り替わりと画像の鮮明さなどを使って代表画像を残す。顔や声を手掛かりに同じ人物の観察記録を結び、出来事の要約には順序や因果関係を付ける。これらの記録はクリップの識別番号で結ばれ、出来事の概要から人物の行動や画像へ進める。
例えば行動の理由を問われると、まず関係する出来事を探し、つながる前後の出来事、人物の記録、必要なら代表画像を確認する。検索を行う仕組みは質問を小さな課題に分け、得られた証拠を記録する。結果が乏しい場合は検索先や課題を見直し、集めた証拠から回答を作る。
新規性
Homerの中核は、順次届く動画から、代表画像と人物別の記録に加え、出来事の前後関係や因果関係を明示した記憶を作る点にある。離れた場面のつながりを、質問のたびに一から推測する負担を減らす設計だ。
質問時には小さな課題に分けて記憶を繰り返し検索する。検索が進まない場合の課題修正や、過去の検索経験を再利用する仕組みも組み合わせている。
従来手法との違い
従来のオンライン手法には、画像の情報を圧縮して残す方法や、内容を文章の記憶として蓄える方法がある。著者らは、前者では離れた場面を探すための意味的な構造が限られ、後者でも出来事の因果関係が明示されないと説明する。
近い比較対象のM3-Agentは、顔や声を手掛かりに人物中心の記憶を作り、複数回検索する。Homerは人物の記憶を基に、出来事同士を結ぶ記憶と、検索結果を確認して進め方を直す制御を加える。
実験結果
著者らはM3-Bench-robotの100本・1,276問、M3-Bench-webの900本・3,214問、Video-MME-Longの300本・900問で評価した。動画の平均長は前二者でそれぞれ35分、27分、後者は30～60分である。外部字幕は使っていない。
著者らは、従来の最良のエージェント手法に対し、この順で5.5、10.8、4.4ポイント高い結果と、3種類の言語モデルでの改善を報告する。M3-Benchの自由記述回答はGemini-2.5-Flashで判定した。評価方式の記述には「他の二つのデータセット」とあるが、列挙された三つのうち二つはM3-Benchの内訳であり、対応関係を確認できない。個別の得点表と差の指標名も確認できた本文の範囲にはない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ロボット視点の作業記録から、「部品を置き直した後、どの作業が続いたか」に答える。入力は作業を撮るカメラ映像と、発話も扱う場合のマイク音声。出力は出来事の順序と、確認に使った場面を示す回答とする。
元データには対象作業の動画が必要で、検証用に質問、正解回答、根拠となる場面のラベルを人手で付ける。現場に合わせて人物の対応付けと出来事の区切りを確認する。追加学習が必要かどうかは、この検証で判断する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象作業のカメラ映像を集め、発話を利用するならマイク音声も用意する。動画から、離れた出来事を結ぶ質問と正解回答、根拠場面のラベルを少数作る。対象現場で人物識別や出来事の区切りを確認し、必要な調整を記録する。
同じ質問を、代表画像を時刻順に探す方法とHomer型の記憶検索に与える。正答数、根拠場面の一致、見落とした出来事、検索時間を測り、動画の長さと質問の種類をそろえて比較する。追加学習用データの要否も結果から判断する。
限界と課題
著者らが課題として挙げるのは、長時間動画を限られた記憶に収めつつ、離れた場面の証拠を探す難しさである。Homerには時間とトークン量の上限、進展のない検索を打ち切る仕組みがあるが、これは誤った記憶を必ず訂正できることを意味しない。
編集上の検証事項は、人物の取り違えや誤った因果関係が回答にどう影響するか、必要な場面が代表画像から漏れないかである。確認できた本文の範囲では、これらの誤りの頻度や運用費用を示す数値は確認できない。
出典
元のタイトル・要旨を確認する（英語）
Homer: Understanding Long-form Videos with Hierarchical Memory and Agentic Reasoning
Multimodal large language models excel on short clips but struggle on hour-long videos in an online setting, where frames are processed incrementally under limited memory. Existing online methods either retain compact visual representations that lack semantic structure, or build higher-level memory stores organized around temporal proximity rather than explicit causal links, leaving multi-hop narrative reasoning to be reconstructed by the LLM at every query. We bridge this gap with \textsc{Homer}, a Hierarchical Online Memory Exploration and Reasoning framework. \textsc{Homer}'s memory mirrors the multi-scale structure of long videos, ranging from raw perception, to recurring entities, to events connected by explicit temporal and causal relations. Its agentic reasoner then explores this memory the way humans do, locating the relevant scene, looking up details, and composing the answer through multi-round memory retrieval, with a harness that verifies and corrects each step. \textsc{Homer} outperforms the previous best agent method by $+5.5$, $+10.8$, and $+4.4$ points on M3-Bench-robot, M3-Bench-web, and Video-MME-Long, and consistently lifts three various LLM backbones, indicating a model-agnostic structural capability for grounded retrieval over long videos.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01