アーカイブ / VLM / Computer Vision
動画を多言語の文章空間に写すV-SONAR：検索・説明文生成の結果と課題
V-SONAR / V-LCM
V-SONAR / V-LCMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 12 : vSONAR’s visualization for cross-modal semantic drift.
概要
- V-SONARは画像・動画の埋め込みを、多言語の文章を扱うSONARの意味空間へ対応づける。
- 著者らのPE-Video検索評価ではRecall@1が73.03。Dream-1k検索とVATEX英語説明では、比較対象を下回る結果もある。
- V-LCMは映像と文章の埋め込みを一列に扱い、次の埋め込みを予測する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、V-SONAR / V-LCMの仕組み
- 01画像・動画
- 02フレーム別符号化
- 03時系列を統合
- 04埋め込み・説明文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
V-SONARは、画像や動画を文章と照合できる数値表現に変える方法である。この数値表現を埋め込みと呼ぶ。SONARは多言語の文章と音声を扱うが、著者らが対象とした既存の意味空間には画像と動画が含まれていなかった。
映像を同じ空間に置ければ、文章による動画検索や、映像からの説明文生成に使える。著者らは既存の視覚エンコーダを活用し、映像と説明文の対応を後から学習させた。
手法
V-SONARは画像や動画の各フレームをPerception Encoderで数値化する。動画ではフレームの順序を加え、時間方向の注意層でフレーム間の情報を扱い、一本の動画を一つの埋め込みにまとめる。注意層とは、入力のうち互いに関係する部分の情報を集める仕組みである。
学習では、固定したSONARが説明文から作る埋め込みに映像側を近づける。画像と説明文の組1200万件、合成動画と説明文の組200万件、人が確認した動画と説明文の組20万件の順に学習する。検索では文章と動画の埋め込みを照合し、説明文生成ではデコーダが埋め込みを文に戻す。V-LCMは映像と指示文の埋め込みを一列に並べ、次の埋め込みを予測する。
新規性
V-SONARの新規性は、既存の画像・動画エンコーダの出力を、多言語の文章を扱うSONARの意味空間へ後から対応づける点にある。映像の数値表現を文章の数値表現と照合し、文章デコーダにも渡せるようにした。
著者らはさらに、英語の文章だけで訓練されたLCMが映像の表現を追加学習なしで処理できることを示した。V-LCMでは映像と言語の指示データを使い、次の数値表現を予測する仕組みを視覚課題へ広げている。
従来手法との違い
文章から動画を探す評価では、元のPerception EncoderとSigLIP2を比較対象にした。V-SONARはPE-VideoとVATEXのRecall@1で両者を上回る一方、Dream-1kでは元のPerception Encoderを下回る。
動画説明では、文章デコーダを接続したV-SONARをInternVL、Qwen-VL、Perception Language Modelなどと比較した。PE-VideoとDream-1kのBLEUでは高い値を得たが、VATEXの英語説明ではInternVL2-1Bの47.8に対し26.7だった。
実験結果
著者らの追加学習なしの文章から動画への検索評価では、PE-VideoのRecall@1はV-SONARが73.03、元のPerception Encoderが63.91、SigLIP2が47.55だった。Recall@1は正解動画が検索結果の先頭に入る割合である。Dream-1kでは順に63.30、72.10、61.50、VATEXでは40.75、18.90、27.52だった。
動画説明のBLEUはV-SONARでPE-Videoが39.0、Dream-1kが23.9。BLEUは生成文と正解文の語の重なりを測る指標である。M3ITの多言語評価では、著者らはV-LCMが評価対象62言語中61言語で比較モデルを上回ったと報告する。なお、要旨・序論は検索評価の63.91をSigLIP2の値と記すが、表2ではPerception Encoderの値であり、記載が食い違う。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の研修動画を、多言語の文章から探す。入力は保管済みの動画と利用者の検索文、出力は関連度順の動画一覧とし、担当者が上位候補を開いて内容を確かめる流れを想定する。
適用には動画と人が確認した説明文の組、検索文ごとの正解動画ラベルが要る。既存動画の撮影機材など入力元も記録し、業務用語と対象言語に合わなければ、対応づけを調整するための動画・説明文の組を追加で用意する。効果は実測で判断する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の既存動画と、人が内容を確認した説明文を集める。検索文ごとに正解動画のラベルを付け、対象言語、動画の長さ、撮影機材など入力元と撮影条件を記録する。新たなセンサーを前提にせず、まず保管済みの映像で試す。
V-SONARを利用できる条件を確認したうえで、同じ動画群・検索文・正解ラベルを使い、元のPerception Encoderと比較する。業務語に合わせた調整を試す場合は動画と説明文の組を用意し、調整前後のRecall@1と、人が判定した上位候補の妥当性を測る。
限界と課題
著者らの評価では、Dream-1kの文章から動画への検索でV-SONARのRecall@1は63.30、元のPerception Encoderは72.10だった。VATEXの英語動画説明でもBLEUは比較対象の最高値に届かない。著者らは短い説明文が多いVATEXと、詳細な説明文を主に使った学習との違いを理由として挙げている。
編集上の検証事項は、業務動画の長さや画質、専門用語、対象言語が検索結果に与える影響である。社内動画への適用結果は確認できた本文の範囲では示されていないため、この用途の精度は別に測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
Unified Vision-Language Modeling via Concept Space Alignment
We introduce V-SONAR, a vision-language embedding space extended from the text-only embedding space SONAR (Omnilingual Embeddings Team et al., 2026), which supports 1500 text languages and 177 speech languages. To construct V-SONAR, we propose a post-hoc alignment pipeline that maps the representations of an existing vision encoder into the SONAR space. We thoroughly evaluate V-SONAR and show that its embeddings achieve competitive performance on text-to-video retrieval. Equipped with the OMNISONAR text decoder, V-SONAR further surpasses state-of-the-art vision-language models on video captioning tasks, including DREAM-1K (BLEU 23.9 vs. 19.6) and PE-VIDEO (BLEU 39.0 vs. 30.0). Leveraging V-SONAR, we first demonstrate that the Large Concept Model (LCM; LCM team et al. 2024) operating in SONAR and trained with English text only, can perform both single- and multi-visual concept understanding in a zero-shot manner. Finally, we introduce V-LCM, which extends the LCM with vision-language instruction tuning. V-LCM encodes vision and language inputs into an unified sequence of latent embeddings via V-SONAR and SONAR, and it is trained with the same latent diffusion objective for next-embedding prediction as in LCM's text-only pre-training. Experiments on a large-scale multilingual and -modal instruction-tuning data mixture highlight the potential of V-LCM: V-LCM matches state-of-the-art vision-language models on tasks covering image/video captioning and question answering, while significantly outperforming them across 61 rich- to low-resource languages out of all 62 tested languages.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01