アーカイブ / VLM / Computer Vision
連続する作業動画から動作と工程の終わりを捉え、階層ごとに説明するOpenHOUSE
OpenHOUSE
OpenHOUSEの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Illustration of the Hierarchical Streaming Video Understanding task. When action instances are detected, the corresponding hierarchical descriptions are generated instantly. The hierarchy consists of three levels: G o a l Goal , S t e p Step , and S u b s t e p Substep . The G o a l Goal description can be generated before the entire video concludes.
概要
- OpenHOUSEは作業動画を順に処理し、細かな動作・工程・全体目標の関係を区間と文章で示す。
- 動作の開始には動作の有無、終了には進行度の急な低下を使い、隣接する動作の境界を捉える。
- Ego4D-GoalStepの工程区間では、時間的な重なりの閾値0.5におけるF1（loc.）が39.70と著者らは報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、OpenHOUSEの仕組み
- 01作業動画のフレーム
- 02階層別の区間検出
- 03関連映像の取得
- 04区間説明の生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
作業を撮り続けた動画では、細かな動作の終わりだけでなく、その動作がどの工程や目標に属するかも知りたい。例えば「ボルトを締める」は「車輪を交換する」の一部であり、それは「自転車を修理する」という目標につながる。
決まった動作名を各時点に付けるだけでは、この関係を柔軟な文章で示しにくい。一方、動画の全フレームで文章生成用の大きなモデルを動かすと処理が重くなるため、説明する区間と時点を選ぶ必要がある。
手法
OpenHOUSEは各フレームを軽量な処理部で読み、細かな動作と工程の区間を追う。動作の有無を推定した値で開始を、動作がどこまで進んだかを示す「進行度」の急な低下で終了を検出する。細かな動作と工程には別々の進行度の推定部を設け、終了した区間の時刻と階層を出力する。
区間が終わると、その時刻と階層を使い、記憶領域から関連フレームや過去の説明を取り出す。例えば車輪交換の工程なら、その間に検出した細かな動作の映像を選び、VLM（画像と文章を扱うモデル）に工程の説明を書かせ、結果を記憶領域に加える。学習用の階層ラベルは、言語モデルが細かな動作を工程にまとめた後、人が時刻と説明を確認して作る。
新規性
著者らは、動画を順に読みながら動作区間を検出し、自由な文章で三層の関係を説明する課題を設定した。OpenHOUSEでは、各フレームを処理する区間検出部と、必要な時だけ文章を作るモデルを分けている。
区間検出では、動作の有無に加え、進行度の急な低下を終了の手掛かりに使う。作業間に背景だけのフレームがなくても、隣接する動作の境界を見つけるための工夫である。
従来手法との違い
著者らはTeSTra、MiniROAD、MATを動作名に依存しない区間検出へ拡張し、検出区間にはOpenHOUSEと同じ説明生成処理を適用した。SDVCとも比較したが、SDVCは一定間隔の時点で説明を生成する方式である。
OpenHOUSEは区間の終了を検出した時点で、関連する映像と過去の説明を使って文章を作る。比較の違いは、説明文の作り方だけでなく、説明すべき区間と呼び出す時点をどう決めるかにもある。
実験結果
著者らはEgo4D-GoalStepなどで、区間検出のF1（適合率と再現率を合わせた指標）、区間と説明の両方を評価するF1、生成文のGPT-Scoreを報告した。後者のF1では、時間的な重なりに加え、正解の説明が文章の類似度による上位候補に入ることを求める。
Ego4D-GoalStepで学習・評価した工程区間では、時間的な重なりの閾値0.5におけるF1（loc.）がOpenHOUSEは39.70、拡張版MiniROADは12.46だった。同条件のF1（loc.+desc.）は12.67と2.81である。生成した工程ラベルでOpenHOUSEを学習した場合のF1（loc.）は38.24で、正解ラベルで学習した39.70に近かった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：自転車整備中の作業者に、終わった動作と進行中の工程を表示する画面を試す。入力は作業者の視点で撮る動画と、学習用動画に付けた細かな動作の開始・終了時刻である。工程と全体目標の説明も用意し、人が時刻と内容を確認する。
処理では動画を順に読み、動作や工程が終わるたびに関連映像から短い説明を作る。出力は時刻付きの「ボルトを締める」などの説明と上位工程の表示とし、整備現場の手順や用語に合わせて調整する。効果は別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象作業を作業者視点の動画カメラで撮り、学習用動画に細かな動作の開始・終了時刻を付ける。工程のまとまりと全体目標の説明も作り、人が映像との整合を確認する。提案する入力センサーは動画カメラで、対象作業に合わせたラベルと説明文の調整が必要である。
別に確保した動画で、動作の有無だけで区切る方式を基準に、進行度を加えた方式と比べる。正解区間に対するF1、説明が映像と合う割合、動作終了から表示までの時間を同じ条件で測る。隣接する動作を一つにまとめた失敗例も記録する。
限界と課題
著者らは、動作区間の境界には解釈の幅があり、生成した工程ラベルが正解ラベルを完全には再現できないと述べる。階層と細かな時刻の両方を持つデータが少ないことも、学習用データを増やす動機として挙げている。
編集上の検証事項は、別の作業や撮影条件でも境界を捉えられるか、説明が映像に沿うか、動作終了から表示までの時間が許容されるかである。確認できた本文の範囲では、導入先での正確さや待ち時間を保証する数値は示されていない。
出典
元のタイトル・要旨を確認する（英語）
Open-ended Hierarchical Streaming Video Understanding with Vision Language Models
We introduce Hierarchical Streaming Video Understanding, a task that combines online temporal action localization with free-form description generation. Given the scarcity of datasets with hierarchical and fine-grained temporal annotations, we demonstrate that LLMs can effectively group atomic actions into higher-level events, enriching existing datasets. We then propose OpenHOUSE (Open-ended Hierarchical Online Understanding System for Events), which extends streaming action perception beyond action classification. OpenHOUSE features a specialized streaming module that accurately detects boundaries between closely adjacent actions, nearly doubling the performance of direct extensions of existing methods. We envision the future of streaming action perception in the integration of powerful generative models, with OpenHOUSE representing a key step in that direction.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01