アーカイブ / VLM / Computer Vision
映像の変化と時間の向きを捉えるCOMET:動き専用経路と逆再生を使った学習
COMET
COMETの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Frame-independent encoding versus explicit temporal representation. (a) sparse RGB frames leave motion implicit. (b) frame-to-frame change makes temporal evidence explicit. A comparison between frame-independent video encoding and an explicit representation of frame-to-frame temporal changes.
概要
- COMETはフレーム間の差から動きを表し、見た目の特徴と時間をまたいで融合する。
- 学習時に元映像と逆再生映像を同じ回答群に入れ、動きの向きへの感度を高める。
- 著者らのQwen3-VL-8Bでの評価では、BL-GRPOより動作課題平均が4.9ポイント、時間推論課題平均が2.1ポイント高かった。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、COMETの仕組み
- 01映像と質問
- 02色画像・動き画像
- 03時間をまたぐ特徴融合
- 04回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
COMETは、映像を見て動きの向きや出来事の順序を答える手法である。映像から間隔を空けて静止画を取り出す処理では、フレーム間の変化が直接表されず、見た目だけを手掛かりに回答することがある。
物体が何かを見分ける質問と、その物体がどちらへ動いたかを問う質問では必要な情報が違う。著者らは、変化を明示する映像処理と、その情報を回答に使わせる学習を組み合わせている。
手法
入力映像から通常の色画像と、連続フレームの濃淡の差に基づく「テイラー式」の動き画像を作る。別々の画像処理経路で見た目と変化を読み取る。クロスアテンションという参照処理で、同じ画面位置の異なる時点にある動きの情報を、見た目の特徴へ加えてから回答を生成する。例えば、物体が右へ移動する映像では、移動方向の手掛かりを質問への回答に利用する。
学習は二段階で、まず時間関係を説明する手本文と正解を使い、次に回答の正誤を報酬として調整する。後段では元映像からの回答6件と逆再生映像からの回答1件を同じ群で比べる。映像処理経路を固定し、言語モデル側を更新する。
新規性
COMETの提案は、フレーム間の変化を表す動き専用経路、その情報を見た目の特徴へ取り込む仕組み、時間の向きを意識した学習を組み合わせた点にある。動きの情報を言語モデルへ渡す前に融合する。
学習では元映像と逆再生映像を同じ回答群に入れ、時間の順序を学習信号として使う。ただし、逆再生時も質問文と参照回答は固定される。
従来手法との違い
BL-GRPOは、回答の正誤による報酬を用いる比較対象である。COMETは映像を処理する段階に動き専用経路とフレーム間の融合を加え、学習段階では元映像に少数の逆再生映像を交ぜる。
著者らはQwen3-VLの3規模で、Flow4AgentとTempFlexも同じ学習・評価手順に合わせて比較した。表の総合平均ではCOMETが両手法を上回る。この比較から現場映像での優劣までは判断できない。
実験結果
著者らはSTAR、SSv2、NExT-QA、CLEVRER、LLaVA-178Kの質問応答部分集合、PerceptionTestを評価した。各ベンチマークまたは部分集合から無作為に1,000件を選び、正答率を報告している。SSv2には正解1件と無作為な誤答4件による5択の質問を加えた。
Qwen3-VL-8Bでは、動作課題平均がCOMETの79.1対BL-GRPOの74.2、時間推論課題平均が81.9対79.8で、差は各4.9、2.1ポイントだった。InternVL2.5-8Bの動作課題平均は78.8対75.3である。確認できた本文の範囲では、後続の詳細分析は途中で切れている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:製造ラインで部品を置く順序を作業者が確認する際に使う。工程を撮影するカメラ映像と「部品Aは部品Bより先に置かれたか」という質問を入力し、回答と該当場面を人が照合する。
対象工程の映像、設置順序を人が確定した正解ラベル、撮影用カメラが必要になる。画角や工程固有の動作に合わせた追加学習・調整を検討し、出力を検査判定に使えるかは別に評価する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:対象工程をカメラで撮影し、部品を置いた順序と各質問の正解を人がラベル付けする。工程固有の映像で追加学習・調整する範囲を決め、同じ映像と質問をCOMET構成と動き専用経路を持たない基準モデルに入力する。
順序質問の正答率を比べ、遮蔽や画角の違いごとに誤答を数える。逆再生を試す場合は、質問ごとに逆再生後の正解を人が確認してから評価する。必要な入力は映像と質問、評価基準は人が確定した正解ラベルである。
限界と課題
著者らが報告する改善は動作課題と時間推論課題に集中し、PerceptionTestは同程度である。Qwen3-VL-8BではCOMETが69.3、BL-GRPOが69.7だった。全種類の映像質問で改善するという結果ではない。
編集上の検証事項は、逆再生で実際の正解が変わる質問への対応、遮蔽された動作や異なる画角での誤答である。学習時には逆再生でも参照回答を固定するため、その扱いを用途ごとに確かめたい。現場映像での精度も報告値からは分からない。
出典
元のタイトル・要旨を確認する(英語)
COMET: Contrastive Motion-Enhanced Temporal Reasoning for Video Multimodal Large Language Models
Video multimodal large language models have advanced significantly, yet fine-grained motion-temporal understanding remains fragile. The core bottleneck is not only sparse frame sampling, but also the lack of a complete temporal modeling pipeline for explicitly representing frame-to-frame change, enabling appearance-motion interaction, and optimizing temporal direction sensitivity. We propose COMET, a temporally grounded framework that systematically strengthens video MLLMs through explicit temporal representation, appearance-motion fusion, and direction-aware optimization. Architecturally, COMET introduces a temporal motion branch built on Taylor frame differences and injects its motion evidence into the appearance stream via temporal attention bias-enhanced cross-attention. For optimization, COMET combines temporal prior distillation with a forward-reverse TC-GRPO stage that turns temporal order into a direct learning signal and strengthens the model's use of directional motion patterns encoded by the temporal motion branch. The method achieves consistent overall improvements with a pronounced motion-temporal bias: on Qwen3-VL-8B, action-centric tasks (STAR, SSv2) improve by 4.9% on average, temporal reasoning tasks (NExT-QA, CLEVRER, LLaVA-178K) by 2.1% over BL-GRPO, while static perception tasks (PerceptionTest) remain on par. The same gain pattern also transfers to InternVL2.5-8B, indicating that COMET generalizes across model families.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




