アーカイブ / Computer Vision
基準フレームの特徴を使い、動画の密な特徴抽出を省力化するResidualViT
ResidualViT
ResidualViTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Model overview. (a) Video frames are processed via two visual encoders ℰ 𝒱 \mathcal{E}_{\mathcal{V}} and ℰ 𝒮 \mathcal{E}_{\mathcal{S}} in an interleaved manner. For each frame encoded via the ViT ℰ 𝒱 \mathcal{E}_{\mathcal{V}} , N N subsequent frames are encoded using our lightweight ResidualViT ℰ 𝒮 \mathcal{E}_{\mathcal{S}} , significantly reducing the computational cost. (b) ResidualViT incorporates a token reduction module ℛ \mathcal{R} to reduce computation and the residual tokenizer 𝒜 \mathcal{A} to ensure temporal consistency by propagating information from preceding frames.
概要
- ResidualViTは基準フレームを通常のCLIPで処理し、後続フレームではトークンを減らして基準フレームの特徴を利用する。
- Charades-STAの記載された設定では、IoU 0.5のR@1が41.5対CLIPの42.9で、毎秒の平均特徴抽出費用は102.6対233.4 GFLOPsだった。
- 対象映像への適用には映像と説明文の学習用対データ、検索文と正解時間区間を付けた評価データによる検証が要る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ResidualViTの仕組み
- 01連続フレーム
- 02基準画像を全処理
- 03後続トークンを削減
- 04基準特徴を渡す
- 05各時刻の特徴量
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
動画内で文章に合う時間区間を探すには、時間方向に密に取り出したフレームを調べる。フレームは動画を構成する一枚の画像で、抽出間隔を狭めるほど処理枚数が増える。本文では、疎な抽出を毎秒0.1～0.5枚、密な抽出を毎秒1～5枚と例示している。
各画像を独立に処理すると、隣り合う画像に共通する内容も繰り返し計算する。著者らはこの重複に着目し、細かな時刻ごとの特徴を得る際の計算費用を減らそうとした。
手法
ResidualViTは、一定間隔の基準フレームをCLIPの視覚エンコーダーで通常どおり処理し、間にあるフレームを軽い処理に回す。CLIPは画像と文章を対応づける事前学習済みモデルで、ここで得る特徴量は画像の内容を表す数値の集まりである。後続フレームでは小領域に対応するトークンを減らし、直近の基準フレームの特徴を線形変換した「残差トークン」を添えて、固定した視覚エンコーダーに入力する。
例えば連続する作業映像では、基準画像の特徴を参照しながら次の画像の特徴を計算する。学習には映像と説明文の対を使う。元のCLIPを教師、ResidualViTを生徒とする蒸留、つまり教師の出力に生徒を近づける学習で、両者の特徴と文章との類似度を合わせる。調整するのは残差トークンを作る線形層だけである。
新規性
ResidualViTは、一定間隔のフレームを通常の画像モデルで処理し、その特徴を後続フレームの処理に渡す。後続側では画像の小領域に対応する情報単位を減らし、連続する画像の重複を計算費用の削減に利用する。
基準フレームの特徴を変換する線形層だけを学習し、事前学習済みのCLIPの重みは固定する。著者らが提案する蒸留は、元のCLIPと軽量な処理の出力について、文章との類似度が近づくよう学習する方式である。
従来手法との違い
基準は、各フレームをCLIPの視覚エンコーダーで全処理する方法である。ResidualViTは基準フレームを同じ方法で処理し、続くフレームでは一部のトークンだけを使う。トークンは、画像を小領域に分けてモデルへ渡す情報単位を指す。
Charades-STAの構成比較では、全フレームのトークンを減らす設定は計算量を下げた一方、区間検索の精度も下がった。通常処理と削減処理を交互に使う設定に、学習済みの基準フレーム由来の情報を加えると、同じ表内では精度がCLIPに近づいた。
実験結果
著者らは、文章による動画の時間区間検索、映像の音声解説文生成、行動の時間区間特定、行動認識を、MAD、Charades-STA、ActivityNet-Captions、ActivityNet-v1.3、Kinetics-400で評価した。ゼロショットと教師ありの設定を含む。区間検索では、予測と正解の重なり率であるIoUが指定値以上となる割合をR@1で測る。
Charades-STAの構成比較はViT-L/14、基準画像の後続2枚を軽く処理、トークン削減率85％の設定である。著者らの表では、IoU 0.5のR@1はResidualViTが41.5、CLIPが42.9、IoU 0.7では23.8と24.1だった。毎秒の平均特徴抽出費用は102.6対233.4 GFLOPs。著者らは全評価で最大60％の計算費用削減と最大2.5倍の推論速度も報告するが、速度測定の詳しい条件は確認できた本文の範囲では分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：作業記録映像から「部品を取り付ける場面」のような文章に合う時間区間を探す。入力は既存カメラの映像と検索文、出力は開始・終了時刻の候補とする。ResidualViTで各フレームの特徴を作り、区間検索の処理へ渡す構成を想定する。
適用には、対象に近い映像と説明文の対を用いて残差トークンの変換部分を調整する必要がある。評価用には検索文と正解区間のラベルを別に用意する。対象映像でも検索精度と処理費用が両立するかは検証が必要である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の作業映像と説明文の対を学習用に集め、CLIPの重みを固定して残差トークンの変換部分を調整する。区間検索の評価用には、別の映像に検索文と正解の開始・終了時刻を付ける。入力センサーは既存の撮影カメラを想定し、追加センサーのデータは使わない。
同じ映像、フレーム抽出間隔、区間検索処理で、全フレームをCLIPで処理する基準と比べる。IoU 0.5と0.7でのR@1、毎秒のGFLOPs、実測時間を記録する。基準フレームの頻度とトークン削減率も変え、対象映像での精度と費用の差を確認する。
限界と課題
確認できた本文の範囲では、著者らが明示した適用上の制約は特定できない。計算量と精度の数値は記載された課題、データセット、設定での結果である。最大2.5倍という推論速度の測定条件は、本文が参照する補足資料を確認できないため特定できない。
編集上の検証事項は、場面転換や細かな動作を含む対象映像でも基準フレームの特徴が役立つか、という点である。フレーム抽出間隔、基準フレームの頻度、トークン削減率を変え、検索精度、計算量、実測時間を併せて確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
ResidualViT for Efficient Temporally Dense Video Encoding
Several video understanding tasks, such as natural language temporal video grounding, temporal activity localization, and audio description generation, require "temporally dense" reasoning over frames sampled at high temporal resolution. However, computing frame-level features for these tasks is computationally expensive given the temporal resolution requirements. In this paper, we make three contributions to reduce the cost of computing features for temporally dense tasks. First, we introduce a vision transformer (ViT) architecture, dubbed ResidualViT, that leverages the large temporal redundancy in videos to efficiently compute temporally dense frame-level features. Our architecture incorporates (i) learnable residual connections that ensure temporal consistency across consecutive frames and (ii) a token reduction module that enhances processing speed by selectively discarding temporally redundant information while reusing weights of a pretrained foundation model. Second, we propose a lightweight distillation strategy to approximate the frame-level features of the original foundation model. Finally, we evaluate our approach across four tasks and five datasets, in both zero-shot and fully supervised settings, demonstrating significant reductions in computational cost (up to 60%) and improvements in inference speed (up to 2.5x faster), all while closely approximating the accuracy of the original foundation model.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01