アーカイブ / VLM
長い動画の位置情報を調整するHoPE：空間の符号化と時間尺度の選択
HoPE
HoPEの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3 : Performance on long video retrieval task (V-NAIH). The black dotted line represents the training context length. Each frame corresponds to 144 tokens.
概要
- HoPEは画像内の横・縦位置に高い回転周波数を使い、時間用の低い周波数をゼロにする。
- 学習時には動画ごとに時間位置の尺度を変え、推論時にも候補から選べる。
- 著者らの表では、7Bモデル・32k入力の三つの動画理解ベンチマークで、HoPEの値が通常のRoPEを上回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、HoPEの仕組み
- 01質問と動画
- 02空間位置を符号化
- 03時間尺度を選択
- 04動画への回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
HoPEは、動画と文章を一緒に扱う視覚言語モデルが、長い動画を読むための位置情報を調整する手法である。長い入力では、離れた場面の関係を捉えにくくなり、質問への回答や特定の場面の検索に影響する。
動画には画像内の横・縦と、フレームが並ぶ時間の位置がある。これらを一列の位置として扱うと空間と時間の近さがずれる。時間と空間にどの位置情報を割り当てるかも、学習時より長い動画を扱う際の課題になる。
手法
HoPEは、入力中の位置をモデルに伝える「位置埋め込み」を変更する。基になるRoPEは、内部の数値を位置に応じて回転させる方式で、回転の速さを周波数と呼ぶ。HoPEは画像内の横・縦位置に高い周波数を交互に割り当て、時間用の低い周波数をゼロにして、その部分を回転させない。
さらに、動画の位置番号に使う時間尺度を調整する。学習時は時間間隔を縮める値と広げる値を含む候補から動画ごとに選び、推論時にも候補を選べる。例えば文章、動画、文章の順に入力する場合、動画部分の位置を調整し、後続の文章の位置も合わせてずらす。モデルは動画に関する回答や、質問に対応する場面の特定結果を出す。
新規性
HoPEは、画像内の横・縦位置に高い回転周波数を交互に割り当て、時間用の低い周波数をゼロにする。著者らは「意味が近い情報を距離によらず優先する」という定義の下で、時間用に別の周波数を選ぶ場合より強い条件を示した。
動画ごとに時間位置の尺度を変えて学習し、推論時にも尺度を選べる点を組み合わせている。理論上の結果は定義された条件に関するもので、動画への個々の回答の正しさを保証するものではない。
従来手法との違い
通常のRoPEは、動画フレームの画像領域を一列に並べて位置を付ける。M-RoPEは時間に高い回転周波数を、VideoRoPEは低い周波数を割り当てる。著者らは、どちらも十分に長い入力では、意味の近さを安定して優先できないと分析した。
HoPEは空間位置に高い周波数を使い、時間用の低い周波数をゼロにする。VideoRoPEが動画の時間位置に固定の尺度を使うのに対し、HoPEは学習時に動画ごとに尺度を選ぶ。実験上の優劣は、論文で評価したモデルと動画課題の条件に限られる。
実験結果
著者らはLLaVA-Video-178kから、3万3000本の動画に対応する約30万組を選んで学習した。全手法の学習時の入力長は8k。動画理解をMLVU、LongVideoBench、Video-MMEで、場面検索をV-NIAHで評価し、通常のRoPE、M-RoPE、VideoRoPEと比較した。
提示された表の7Bモデル・32k入力では、HoPEと通常のRoPEの値は順にMLVUで63.85対61.03、LongVideoBenchで55.34対51.29、Video-MMEで59.44対57.99だった。著者らはV-NIAHで最良の比較手法を22.23%上回ったと報告するが、確認できた本文の範囲では、その数値表と各指標の詳細は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：工場の作業記録から、指定した工程が映る場面を探す。入力は作業動画と「部品を取り付けた場面はどこか」などの質問、出力は該当場面の候補と回答とし、担当者が映像を確認する。
適用には対象工程の動画、質問と正答、該当フレームの時刻ラベルが要る。新たな専用センサーは想定せず、既存の撮影映像を使う案である。これらのデータでモデルを調整し、撮影速度や動画長が異なる条件で候補を見つけられるか検証する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：工程ごとの動画を長さ別に集め、質問、正答、該当フレームの時刻ラベルを人手で付ける。同じ基盤モデルと学習データでHoPEとM-RoPEを調整し、評価用の動画は学習用から分ける。入力は既存の撮影動画と質問文で、追加の専用センサーは想定しない。
評価では該当場面を見つけた割合、回答の正誤、長さ別の取り逃しを記録する。撮影速度が異なる動画も含め、HoPEの時間尺度を変えた場合の差を調べる。担当者が許容できる見落としの水準を事前に決め、候補場面を人が確認する運用で試す。
限界と課題
著者らは、学習時の入力長を大きく超える条件への拡張は難しいと述べる。表では64k入力のVideo-MMEの値が短い入力より下がり、2Bモデルでは手法間の差も小さい。長い動画で常に改善するとは読めない。
編集上の検証事項は、現場映像で必要な場面を取り逃さないか、撮影速度や動画長で結果がどう変わるかである。確認できた本文の範囲では、各ベンチマークの指標名や集計方法の詳細、V-NIAHの数値表を確認できない。報告値を現場の正答率に直接置き換えることはできない。
出典
元のタイトル・要旨を確認する（英語）
HoPE: Hybrid of Position Embedding for Long Context Vision-Language Models
Vision-Language Models (VLMs) have made significant progress in multimodal tasks. However, their performance often deteriorates in long-context scenarios, particularly long videos. While Rotary Position Embedding (RoPE) has been widely adopted for length generalization in Large Language Models (LLMs), extending vanilla RoPE to capture the intricate spatial-temporal dependencies in videos remains an unsolved challenge. Existing methods typically allocate different frequencies within RoPE to encode 3D positional information. However, these allocation strategies mainly rely on heuristics, lacking in-depth theoretical analysis. In this paper, we first study how different allocation strategies impact the long-context capabilities of VLMs. Our analysis reveals that current multimodal RoPEs fail to reliably capture semantic similarities over extended contexts. To address this issue, we propose HoPE, a Hybrid of Position Embedding designed to improve the long-context capabilities of VLMs. HoPE introduces a hybrid frequency allocation strategy for reliable semantic modeling over arbitrarily long contexts, and a dynamic temporal scaling mechanism to facilitate robust learning and flexible inference across diverse context lengths. Extensive experiments across four video benchmarks on long video understanding and retrieval tasks demonstrate that HoPE consistently outperforms existing methods, confirming its effectiveness. Our code is available at https://github.com/hrlics/HoPE.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01