アーカイブ / VLM / Audio
動画モデルの視覚経路で音声や深度を扱うV-LynX
V-LynX
V-LynXの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(b) Extra number of parameters for each new modality
概要
- V-LynXは、動画モデルの既存の視覚経路に少数の学習パラメータを加え、音声や深度などへ適応させる。
- 新しい入力の適応には対応付けのないデータを使うが、回答学習には質問と正答のデータが必要である。
- 著者らの音声・映像QA実験では、AVSDのCIDErが0.5B版で145.7となり、PAVEの134.5を上回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、V-LynXの仕組み
- 01動画・音声・質問
- 02音声を図状に変換
- 03視覚経路で特徴化
- 04言語モデルが回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
V-LynXは、動画について質問に答える大規模言語モデルへ、音声や奥行き情報などを取り込む方法である。既存の動画モデルは主にカラー映像を扱うため、音や立体的な位置関係を問うには、それらの情報をモデルが読める形にする必要がある。
従来の拡張では、入力の種類ごとに専用エンコーダーを加えたり、動画と新しい入力を対応付けた学習データを用意したりする。対象を増やすたびに必要な構成とデータ準備が増える点が、実務利用を考えるうえでの課題となる。
手法
音声・映像の質問応答では、音声を時間ごとの周波数の強さを表す図状のデータに変換する。まずラベルのない動画から、視覚経路内で情報の参照先を決める「注意」の基準応答と、言語モデルへ渡すトークンの平均・分散を求める。トークンはモデルが扱う情報の単位である。
次に、動画と対応付けていない音声データを視覚経路に通し、その注意応答とトークンの統計を動画側の基準に近づける。LoRAと呼ぶ少数の追加パラメータを視覚経路で学習し、元の重みは固定する。その後、質問と正答のデータで言語モデル側にもLoRAを学習させ、映像・音声・質問から回答文を作る。
新規性
著者らは、動画モデルが学習した視覚情報の表現空間を、新しい入力にも使える「トークン・インターフェース」と捉える。音声などをその空間へ適応させる際、動画との一対一の対応データを使わない点が提案の中心である。
視覚経路内の注意応答と、言語モデルへ渡す情報の平均・分散を動画側に合わせる。回答を学ぶ後段では正答付きの質問データを使うため、全工程がラベル不要という意味ではない。
従来手法との違い
主な比較対象は、同じLLaVA-OVを土台とするLLaVA-OV-FTとPAVEである。前者は対象となる新しい入力のデータを使わずに指示学習し、後者は対象入力用エンコーダーと交差注意機構を加えて、異なる入力を対応付けたデータで学習する。
V-LynXは既存の視覚経路に小規模な学習部分を加える。音声・映像QAの0.5B版では、追加パラメータ数はV-LynXが68.7M、PAVEが127.6Mだった。この値は同課題の設定に限り、全用途の費用差は示さない。
実験結果
著者らはLLaVA-OVの0.5B版と7B版を土台に、音声・映像QA、3D質問応答、高フレームレート動画、一人称動画を評価した。音声・映像QAのAVSDでは、文章回答の一致度を測るCIDErが0.5B版のV-LynXで145.7、PAVEで134.5だった。MUSIC-AVQAの全体正解率は同じ順に81.1、78.8である。
3D課題のScanQAでは、7B版のCIDErがV-LynXで107.4、PAVEで103.4だった。SQA3DのEM@1、つまり最上位回答の完全一致率は60.5、59.0である。高フレームレート動画の実験ではLLaVA-Video-178Kの114k問を学習に使い、VideoMMEの平均正解率は0.5B版で52.8、PAVEで46.0と著者らは報告した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製造現場の作業映像と周囲の音から、担当者の質問に短く答える試行を考える。入力はカメラ映像、マイク音声、質問文で、出力は確認対象の作業場面についての回答とする。製造現場での有効性は論文の評価対象ではない。
準備するのは基準統計を作る動画群、音声を適応させる音声群、現場の質問と確認済み正答の組である。前二者に一対一の対応付けは不要だが、回答学習には正答ラベルが要る。収録音声を所定の形式に変換し、追加学習する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：作業を一種類に絞り、カメラ映像とマイク音声を集める。動画群から基準統計を作り、対応付けのない音声群で視覚経路を適応させる。次に、現場の質問と確認済み正答をラベル付きデータとして用意し、回答用の追加学習を行う。
比較対象は、同じ土台の動画モデルで音声を使わない設定とする。収録条件を分けた質問群で正解率と誤答の内容を記録し、音声を加えたときの差を測る。映像・音声の収集量、正答ラベルの作成量、追加パラメータ数も併記して判断する。
限界と課題
著者らは、高フレームレート動画の前処理で画像を縮小すると、細かな姿勢の手掛かりが弱まる可能性を挙げる。MVBenchの細かな姿勢を問う項目では、7B版の正解率はV-LynXが54.0、PAVEが54.5で、V-LynXが0.5ポイント低かった。
編集上の検証事項として、現場の騒音や撮影角度が変わったときの回答を調べる必要がある。対応付けのないデータによる適応と、正答付きデータによる回答学習を分け、必要なラベル作成量と誤答の種類を記録したい。
出典
元のタイトル・要旨を確認する（英語）
V-LynX: Token Interface Alignment for Video+X LLMs
This study introduces an intriguing phenomenon in Video LLMs: rather than merely translating frames into textual embeddings, Video LLMs establish a continuous manifold, token interface, allowing visual tokens to operate as standalone entities within the architecture. Exploiting this discovery, we propose V-LynX, a scalable framework that integrates novel modalities into Video LLMs by repurposing the internalized interface. Departing from conventional paradigms that necessitate heavy modality-specific encoders or paired supervision, V-LynX employs a lightweight auxiliary pathway in parallel with the frozen vision encoder. Our method integrates new sensory inputs with intrinsic video priors by aligning both attention responses and statistical distributions using unpaired unimodal data sets. This ensures manifold compatibility while preserving the integrity of the Video LLMs. Extensive benchmarks demonstrate that V-LynX achieves SOTA and efficiency across audio-visual QA, 3D reasoning, high-frame-rate, and multi-view video understanding. The code is available at https://github.com/park-jungin/lynx.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01