アーカイブ / VLM
検索文の小さな変更で動画の順位はどう動くか：CLIPの脆さを測る
On the Brittleness of CLIP Text Encoders
On the Brittleness of CLIP Text Encodersの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overlap@k between original and perturbed rankings for each perturbation type across models.
概要
- 190件の英語検索文と約100万区間の代表画像を使い、７モデルの検索順位の変化を調べた。
- 名詞・キーワードへの縮約や言い換えは順位を大きく動かし、句読点などの編集は脆さ指数で目立った。
- FARE2-H14とEVA02-L14は全体として比較的安定していたが、構文変更や言い換えへの感度は残った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、On the Brittleness of CLIP Text Encodersの仕組み
- 01検索文と代表画像
- 02元の順位を取得
- 03文面を変えて再検索
- 04順位差と脆さ指数
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
本研究は、検索文の表現を変えたときに、画像検索の順位がどれほど揺れるかを調べる。CLIPは画像と文章を共通の特徴量に変換し、その近さで画像を並べるモデルである。動画検索では、各区間を表す画像をこの方法で探せる。
利用者の検索文には句読点、誤字、語順や言い換えの違いがある。同じ場面を探すつもりでも上位候補が入れ替われば、必要な場面を見落とす恐れがある。そこで著者らは、検索精度とは別に順位の安定性を調べた。
手法
著者らは元の英語の検索文をモデルに入力し、動画の各区間を表す代表画像を文章との近さで順位付けする。次に大文字・小文字、句読点、誤字、名詞やキーワードの抽出、語順、同義語、言い換えを変え、同じ画像群を再び検索する。例えば文末にピリオドを足し、上位の画像が入れ替わるかを見る。
順位差は、上位ほど重く見て二つの順位の一致を測るRBOから「不安定性」として算出する。さらに元の文と変更後の文の特徴量間の距離を使い、異なる元の検索文同士の平均距離で尺度を調整した「脆さ指数」を求める。特徴量が少ししか動かないのに順位が大きく変わる場合を見つけるための値である。
新規性
著者らは、検索文を変えた前後の順位差を「不安定性」として測り、文章の特徴量が動いた距離で調整する「脆さ指数」を提案した。意味を大きく変えずに順位だけが動く反応を捉える指標である。
順位差が大きい編集と、特徴量の移動が小さい割に順位差が大きい編集を区別できる。著者らの分析では、前者は構文の変更や言い換え、後者は句読点などの表面的な編集で目立った。
従来手法との違い
著者らは７モデルを比較した。対象にはLAION系の複数モデルに加え、文字単位の変更への耐性を高める追加学習を受けたFARE2-H14と、別の文章エンコーダーを用いるEVA02-L14が含まれる。LAION系にも多言語モデルや学習データ量の異なるモデルがある。
FARE2-H14とEVA02-L14は全体の不安定性と脆さが比較的小さかった。ただしEVA02-L14は名詞やキーワードへの縮約で順位の重なりが低く、両モデルとも構文変更や言い換えへの感度は残った。構成と学習条件が異なるため、差を単一の要因には帰せない。
実験結果
著者らはTRECVIDの2016～2022年の動画検索課題から190件の英語検索文を用いた。検索対象はV3C1の最初の区画に含まれる約100時間の動画で、約100万区間それぞれの代表画像である。７モデルについて、上位k件の重なり、RBOに基づく不安定性、脆さ指数を調べた。
著者らによれば、名詞・キーワードへの縮約や言い換えでは順位の重なりが大きく下がった。一方、文章の特徴量が動いた距離で調整すると、句読点などの表面的な編集で脆さが目立った。多くのモデルは大文字・小文字を内部で正規化し、その変更では順位が同一だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：作業記録動画から、担当者が行動を英語で記述して場面を探す検索画面を想定する。入力は既存動画の各区間から選んだ代表画像と検索文、出力は候補場面の順位、および言い換えた際の順位変化とする。
初期案では既存モデルを使い、追加の訓練データやセンサーは要しない。検証用に、対象動画、実際に使う英語の検索文と別表現、該当場面を示す人手のラベルが必要となる。現場語彙への適応は検索文の表記をそろえる手順から試す。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の既存動画から区間ごとの代表画像を用意し、実際の英語検索文と意味を保つ別表現を集める。初期段階は追加学習を行わず、訓練データや追加センサーは不要とする。一方、各検索文で該当する場面の人手ラベルは評価に必要である。
元の文だけで検索した順位を基準に、別表現での上位10件の重なりと、該当場面が上位10件に入る割合を記録する。専門語の表記をそろえた前後でも同じ指標を比べる。追加学習まで進める場合は、現場映像と対応する文章、該当ラベルを別途用意して適応を検証する。
限界と課題
著者らが明記した限界は、変更を検索文側だけに加えたこと、評価対象が一部のCLIP系モデルに限られること、検索文が英語のみであることだ。脆さ指数は順位差の調整方法の一つであり、別の定義では感度の見え方が変わり得るとも述べている。
編集上の検証事項は、現場映像の画質や専門語、日本語の検索文でも同じ傾向が出るかである。順位が安定しても目的の場面を見つけられるとは限らないため、該当場面の人手ラベルを使って検索の適合性も別に確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
On the Brittleness of CLIP Text Encoders
Multimodal co-embedding models, especially CLIP, have advanced the state of the art in zero-shot classification and multimedia information retrieval in recent years by aligning images and text in a shared representation space. However, such modals trained on a contrastive alignment can lack stability towards small input perturbations. Especially when dealing with manually expressed queries, minor variations in the query can cause large differences in the ranking of the best-matching results. In this paper, we present a systematic analysis of the effect of multiple classes of non-semantic query perturbations in an multimedia information retrieval scenario. We evaluate a diverse set of lexical, syntactic, and semantic perturbations across multiple CLIP variants using the TRECVID Ad-Hoc Video Search queries and the V3C1 video collection. Across models, we find that syntactic and semantic perturbations drive the largest instabilities, while brittleness is concentrated in trivial surface edits such as punctuation and case. Our results highlight robustness as a critical dimension for evaluating vision-language models beyond benchmark accuracy.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01