アーカイブ / VLM / Computer Vision
名詞句・関係・文全体を組み合わせるゼロショット動画説明文生成
Progressive Multi-Granularity Textual Prompting
Progressive Multi-Granularity Textual Promptingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Current zero-shot captioning methods are easily distracted. NP, SG, and EC denote noun phrase, scene graph (triplets are displayed as concatenated strings), and entire caption prompt, respectively. “Res” indicates the generated captions, with correct and incorrect words highlighted. In the top example, MultiCapCLIP [ 40 ] fails to capture the rider-motorcycle interaction as the prior does not model the distribution of subject-object interactions effectively. In the bottom example, MultiCapCLIP’s top- K retrieval strategy produces repetitive similar noun phrases and lacks person and environment information, because it fails to model either the structure of the scene or of natural language. DeCap [ 16 ] struggles to fully understand the video details due to its coarse-grained prompt of global caption embedding. By contrast, our method generates more accurate and comprehensive descriptions.
概要
- 動画と説明文の対による生成器の学習を行わず、文章から作った三種の記憶庫を手掛かりに説明文を生成する。
- 名詞句、属性を加えた関係表現、文全体を組み合わせ、分類別検索とtop-p選別で候補を選ぶ。
- 著者らの分野内評価では、CIDErがMultiCapCLIP比でMSR-VTTは5.7ポイント、MSVDは16.2ポイント高い。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Progressive Multi-Granularity Textual Promptingの仕組み
- 01動画の各フレーム
- 02三種の記憶庫と照合
- 03候補を選別・統合
- 04動画の説明文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ゼロショット動画説明文生成は、動画と人手の説明文を対にして生成器を学習させずに、映像の内容を文章にする課題である。動画には人物、物、動作と、それらの関係が同時に映る。
著者らによると、既存手法の説明文は目立つ一要素に寄り、ほかの要素を落とす場合がある。検索用の説明文で人物だけを記し、その行動を落とせば、目的の場面を探す手掛かりが減る。
手法
学習用文章から名詞句、シーングラフ、文全体の記憶庫を作る。シーングラフは「若い少年・遊ぶ・バスケットボール」のように主語・動作・対象を表す関係表現で、元の関係に名詞句の属性を加える。生成器は、文章由来の手掛かりから元の文章を復元するよう学習する。
生成時にはCLIPという画像と文章の近さを数値化するモデルで、動画の各フレームと候補を照合する。名詞句と関係表現を分類別に検索し、top-p選別で類似度の累積値が閾値に達するまで候補を残す。文全体との類似度から得た手掛かりも合わせ、生成器が説明文を出す。
新規性
著者らの提案は、名詞句、属性を加えたシーングラフ、文全体を別々の記憶庫に置き、細部から全体までを説明文生成の手掛かりにする点にある。
さらに、名詞句と関係表現を分類して検索し、類似度に基づくtop-p選別を適用する。著者らは、似た候補への偏りを抑え、映像に関係する多様な手掛かりを得る狙いを示している。
従来手法との違い
MultiCapCLIPは名詞句の記憶庫から類似度上位の候補を選ぶ。著者らは、名詞句だけでは人物と物の関係が伝わりにくく、上位候補に似た表現が重なると指摘する。提案法は関係表現と文全体も使う。
DeCapは文全体の埋め込みを手掛かりにする。埋め込みは文章の特徴を数値で表したもので、著者らは細部が薄まり得ると説明する。比較結果は、各データセットのテスト集合と論文に記載された実装条件に限って読む必要がある。
実験結果
著者らはMSR-VTT、MSVD、VATEXの動画説明文データで評価した。主指標CIDErは生成文と正解説明文の語句の一致を測る。分野内評価では各データセットの文章で生成器を学習し、同じデータセットの動画のテスト集合で測定している。
表2のCIDErは、MSR-VTTで提案法39.3、MultiCapCLIP33.6、MSVDで92.9対76.7。差はそれぞれ5.7、16.2ポイントで、MSVDの比較値は著者らの再実装による。VATEXは本文に提案法41.4、要約に従来法比3.4の改善とあるが、比較表の該当数値は確認できた本文の範囲では読めない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の短い作業動画に、検索用の説明文を一文ずつ付ける。入力は動画、出力は人物・物・動作を含む候補文とし、担当者が映像を確認してから登録する。
導入には、業務語彙を含む学習用の文章、評価用動画、人手で付けた正解説明文が要る。文章から名詞句と関係表現を作り、現場の呼び名に合わせて記憶庫を整える。想定する入力センサーは動画を撮るカメラであり、検索精度の改善は別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の短い動画と、人手で人物・物・動作を記した正解説明文を評価用に集める。学習用には動画と対にしない文章を用意し、名詞句・関係表現・文全体の記憶庫を作る。入力センサーはカメラとし、業務固有の語の抽出と分類を点検する。
同じ評価動画で、名詞句だけを使う構成と三種を使う構成を比較する。CIDErに加え、人物・物・動作の記載漏れ、映像にない記述、担当者の修正件数を測る。分野内の分類別検索を再現する場合は、統計量の算出に動画対応の説明文が必要な点を分けて検証する。
限界と課題
著者らが明示する主な問題は従来法の候補の重複や関係情報の不足であり、提案法自体の失敗率を示したものではない。確認できた本文の範囲では、実運用時の処理時間も判断できない。
編集上の検証事項は、記憶庫にない物や動作、連続する細かな動作をどこまで記述できるかである。名詞句のGPT-4による分類や、対象分野を替えた際の記憶庫の適合も確認したい。分野内の分類別検索には動画に対応する説明文から求める統計量が使われるため、その取得条件にも注意が要る。
出典
元のタイトル・要旨を確認する（英語）
The Devil is in the Distributions: Explicit Modeling of Scene Content is Key in Zero-Shot Video Captioning
Zero-shot video captioning requires that a model generate high-quality captions without human-annotated video-text pairs for training. State-of-the-art approaches to the problem leverage CLIP to extract visual-relevant textual prompts to guide language models in generating captions. These methods tend to focus on one key aspect of the scene and build a caption that ignores the rest of the visual input. To address this issue, and generate more accurate and complete captions, we propose a novel progressive multi-granularity textual prompting strategy for zero-shot video captioning. Our approach constructs three distinct memory banks, encompassing noun phrases, scene graphs of noun phrases, and entire sentences. Moreover, we introduce a category-aware retrieval mechanism that models the distribution of natural language surrounding the specific topics in question. Extensive experiments demonstrate the effectiveness of our method with 5.7%, 16.2%, and 3.4% improvements in terms of the main metric CIDEr on MSR-VTT, MSVD, and VATEX benchmarks compared to existing state-of-the-art.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01