表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

映像の変化と時間の向きを捉えるCOMET:動き専用経路と逆再生を使った学習

COMET

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

COMETの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1. Frame-independent encoding versus explicit temporal representation. (a) sparse RGB frames leave motion implicit. (b) frame-to-frame change makes temporal evidence explicit. A comparison between frame-independent video encoding and an explicit representation of frame-to-frame temporal changes.

出典:COMET / arXiv ↗

概要

  • COMETはフレーム間の差から動きを表し、見た目の特徴と時間をまたいで融合する。
  • 学習時に元映像と逆再生映像を同じ回答群に入れ、動きの向きへの感度を高める。
  • 著者らのQwen3-VL-8Bでの評価では、BL-GRPOより動作課題平均が4.9ポイント、時間推論課題平均が2.1ポイント高かった。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、COMETの仕組み

左から右へ読む
  1. 01映像と質問
  2. 02色画像・動き画像
  3. 03時間をまたぐ特徴融合
  4. 04回答

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

COMETは、映像を見て動きの向きや出来事の順序を答える手法である。映像から間隔を空けて静止画を取り出す処理では、フレーム間の変化が直接表されず、見た目だけを手掛かりに回答することがある。

物体が何かを見分ける質問と、その物体がどちらへ動いたかを問う質問では必要な情報が違う。著者らは、変化を明示する映像処理と、その情報を回答に使わせる学習を組み合わせている。

手法

入力映像から通常の色画像と、連続フレームの濃淡の差に基づく「テイラー式」の動き画像を作る。別々の画像処理経路で見た目と変化を読み取る。クロスアテンションという参照処理で、同じ画面位置の異なる時点にある動きの情報を、見た目の特徴へ加えてから回答を生成する。例えば、物体が右へ移動する映像では、移動方向の手掛かりを質問への回答に利用する。

学習は二段階で、まず時間関係を説明する手本文と正解を使い、次に回答の正誤を報酬として調整する。後段では元映像からの回答6件と逆再生映像からの回答1件を同じ群で比べる。映像処理経路を固定し、言語モデル側を更新する。

新規性

COMETの提案は、フレーム間の変化を表す動き専用経路、その情報を見た目の特徴へ取り込む仕組み、時間の向きを意識した学習を組み合わせた点にある。動きの情報を言語モデルへ渡す前に融合する。

学習では元映像と逆再生映像を同じ回答群に入れ、時間の順序を学習信号として使う。ただし、逆再生時も質問文と参照回答は固定される。

従来手法との違い

BL-GRPOは、回答の正誤による報酬を用いる比較対象である。COMETは映像を処理する段階に動き専用経路とフレーム間の融合を加え、学習段階では元映像に少数の逆再生映像を交ぜる。

著者らはQwen3-VLの3規模で、Flow4AgentとTempFlexも同じ学習・評価手順に合わせて比較した。表の総合平均ではCOMETが両手法を上回る。この比較から現場映像での優劣までは判断できない。

実験結果

著者らはSTAR、SSv2、NExT-QA、CLEVRER、LLaVA-178Kの質問応答部分集合、PerceptionTestを評価した。各ベンチマークまたは部分集合から無作為に1,000件を選び、正答率を報告している。SSv2には正解1件と無作為な誤答4件による5択の質問を加えた。

Qwen3-VL-8Bでは、動作課題平均がCOMETの79.1対BL-GRPOの74.2、時間推論課題平均が81.9対79.8で、差は各4.9、2.1ポイントだった。InternVL2.5-8Bの動作課題平均は78.8対75.3である。確認できた本文の範囲では、後続の詳細分析は途中で切れている。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:製造ラインで部品を置く順序を作業者が確認する際に使う。工程を撮影するカメラ映像と「部品Aは部品Bより先に置かれたか」という質問を入力し、回答と該当場面を人が照合する。

対象工程の映像、設置順序を人が確定した正解ラベル、撮影用カメラが必要になる。画角や工程固有の動作に合わせた追加学習・調整を検討し、出力を検査判定に使えるかは別に評価する。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:対象工程をカメラで撮影し、部品を置いた順序と各質問の正解を人がラベル付けする。工程固有の映像で追加学習・調整する範囲を決め、同じ映像と質問をCOMET構成と動き専用経路を持たない基準モデルに入力する。

順序質問の正答率を比べ、遮蔽や画角の違いごとに誤答を数える。逆再生を試す場合は、質問ごとに逆再生後の正解を人が確認してから評価する。必要な入力は映像と質問、評価基準は人が確定した正解ラベルである。

限界と課題

著者らが報告する改善は動作課題と時間推論課題に集中し、PerceptionTestは同程度である。Qwen3-VL-8BではCOMETが69.3、BL-GRPOが69.7だった。全種類の映像質問で改善するという結果ではない。

編集上の検証事項は、逆再生で実際の正解が変わる質問への対応、遮蔽された動作や異なる画角での誤答である。学習時には逆再生でも参照回答を固定するため、その扱いを用途ごとに確かめたい。現場映像での精度も報告値からは分からない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

COMET: Contrastive Motion-Enhanced Temporal Reasoning for Video Multimodal Large Language Models

Video multimodal large language models have advanced significantly, yet fine-grained motion-temporal understanding remains fragile. The core bottleneck is not only sparse frame sampling, but also the lack of a complete temporal modeling pipeline for explicitly representing frame-to-frame change, enabling appearance-motion interaction, and optimizing temporal direction sensitivity. We propose COMET, a temporally grounded framework that systematically strengthens video MLLMs through explicit temporal representation, appearance-motion fusion, and direction-aware optimization. Architecturally, COMET introduces a temporal motion branch built on Taylor frame differences and injects its motion evidence into the appearance stream via temporal attention bias-enhanced cross-attention. For optimization, COMET combines temporal prior distillation with a forward-reverse TC-GRPO stage that turns temporal order into a direct learning signal and strengthens the model's use of directional motion patterns encoded by the temporal motion branch. The method achieves consistent overall improvements with a pronounced motion-temporal bias: on Qwen3-VL-8B, action-centric tasks (STAR, SSv2) improve by 4.9% on average, temporal reasoning tasks (NExT-QA, CLEVRER, LLaVA-178K) by 2.1% over BL-GRPO, while static perception tasks (PerceptionTest) remain on par. The same gain pattern also transfers to InternVL2.5-8B, indicating that COMET generalizes across model families.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01