アーカイブ / VLM / Computer Vision
文字を変えられても画像検索を保つ、CLIPのテキスト側を鍛える手法
LEAF
LEAFの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Left: our idea. Schlarmann et al. (2024) propose FARE: finetuning the CLIP image encoder to produce embeddings close to the clean image embedding (★) under image perturbations. Analogically, we finetune the CLIP text encoder to produce embeddings close to the clean text embedding (★) under text perturbations. Right: results in ViT-L/14. The first (second) ✗ / ✓ denotes the usage of a robust image (text) encoder. We constrain the text attacks with the Levenshtein distance and the image attacks in the ℓ ∞ \ell_{\infty} norm. By combining the FARE robust image encoder with our robust text encoder, we obtain high adversarial accuracy in both domains.
概要
- LEAFは文字変更後の文章表現を元のCLIPの表現へ近づけるよう学習する。
- 著者らのCLIP-ViT-L/14評価では、AG-Newsの一文字変更下の精度が44.5％から63.2％になった。
- 導入時は誤字への耐性と、正しい検索文での順位低下を同時に測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LEAFの仕組み
- 01元の文章
- 02変更位置の選択
- 03置換文字の選択
- 04安定した文章表現
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LEAFは、文章の一文字が変えられてもCLIPの文章表現を安定させる。CLIPは画像と文章を共通の数値表現に写し、対応の近さを測るモデルだ。文章側の表現が大きく動くと、画像検索や画像生成など、CLIPを組み込んだ後段の処理にも影響する。
従来は画像を読み取る側の頑健化が進んでいた一方、文章を読み取る側は十分に調べられていなかった。入力ミスに似た変更への耐性を、画像側の性能と合わせて確かめることが課題となる。
手法
学習では、元の文章を従来のCLIPに通して数値表現を作る。同時に、文字を変えた文章を学習中のテキストエンコーダーへ入れ、二つの表現の距離が縮むよう調整する。文字の挿入・削除・置換に必要な回数を表す「編集距離」で変更量を制限し、新しい英単語を生まないといった意味保持の条件も使う。
攻撃文を作る際は、まず複数の位置に試験用の空白を置き、表現が最もずれる位置を選ぶ。次に、その位置で複数の置換文字を試し、最もずれるものを採用する。例えば「grizzly」の一文字を変えた文でも、元の文に近い表現を出すよう学習する仕組みだ。
新規性
著者らの主張する新しさは、CLIPの画像側で使われた「元の入力の表現に近づける」学習目標をテキスト側へ移し、文字単位の攻撃を学習中に効率よく作る点にある。位置と置換文字をそれぞれ候補から選ぶため、候補数を文の長さに応じて増やさずに済む。
画像エンコーダーとテキストエンコーダーを別々に頑健化できる設計も特徴だ。両方を組み合わせ、画像と文章のいずれに変更が加えられても分類精度を保てるかを調べている。
従来手法との違い
比較の中心は、通常のCLIP、画像側だけを頑健化したFARE、文字攻撃Charmerを使って学習したモデルである。FAREだけでは画像への攻撃に対応できても、文章への攻撃に対する改善は限定的だった。LEAFはテキスト側を追加で学習する。
学習用の攻撃生成では、Charmerが文の長さに応じた数の候補を調べるのに対し、LEAFは各文について一定数の候補を二段階で調べる。比較表では速度が上がる一方、条件によって文字攻撃下の精度に小さな差がある。
実験結果
著者らはDataComp-smallの先頭8万件でテキスト側を学習し、AG-Newsの文章分類、ImageNetの画像分類、MS-COCOの画像検索などで評価した。CLIP-ViT-L/14で画像側も頑健化した場合、AG-Newsの一文字変更下の精度は44.5％から63.2％、ImageNetの画像攻撃下の精度は47.6％から46.0％だった。
MS-COCOの二文字変更下では、同じ構成のRecall@1、つまり正解画像が1位になる割合が30.66％から40.22％へ上がった。学習用攻撃の比較では、128文の処理時間はLEAFが3.23秒、比較したCharmerの速い設定が15.17秒だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：画像資料を文章から探す社内検索で、利用者の英語クエリに一文字の入力ミスが混じる場面を対象にする。入力は画像群と検索文、出力は関連画像の順位付き一覧とする。検索前に文章を人手で直す運用だけに頼らず、LEAFを組み込んだCLIPで順位がどの程度安定するかを見る。
例えば、製品写真を表す語の一文字が置き換わった検索文と正しい検索文を対にして流す。担当者は上位画像が対象を含むかを確認し、誤った対象へ検索が流れる例を記録する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の画像と英語検索文を少数選び、正しい文と一文字・二文字を変えた文を対にする。通常のCLIPとLEAFを同じ画像群で動かし、正解画像が1位または上位5件に入る割合と、正しい文での順位変化を測る。
変更後も元の意味を保つ文だけを別に集計し、意味が変わった文は誤検索の分析に回す。検索精度に加え、実際の問い合わせ文で多い誤字の種類を確認してから、対象業務に合うか判断する。
限界と課題
著者らの実験では、意味の変化を抑える文字変更の条件が重要だった。条件なしで学習すると、ある設定ではImageNetの通常入力での精度がFAREの74.7％から65.5％へ下がった。検索でも、頑健性と通常入力での性能には条件による差がある。
編集上の確認点は、日本語や製品コード、意図的に似せた別語にも結果が及ぶかである。文字の編集距離が小さくても意味が保たれるとは限らない。検索文の訂正が必要な場面と、別の対象を指す場面を分けて評価したい。
出典
元のタイトル・要旨を確認する（英語）
Robustness in Both Domains: CLIP Needs a Robust Text Encoder
Adversarial input attacks can cause a significant shift of CLIP embeddings. This can affect the downstream robustness of models incorporating CLIP in the pipeline, such as text-to-image generative models or large vision language models. While some efforts have been done towards making the CLIP image encoders robust, the robustness of text encoders remains unexplored. In this work, we cover this gap in the literature. We propose LEAF: an efficient adversarial finetuning method for the text domain, with the ability to scale to large CLIP models. Our models significantly improve the zero-shot adversarial accuracy in the text domain, while maintaining the vision performance provided by robust image encoders. When combined with text-to-image diffusion models, we can improve the generation quality under adversarial noise. In multimodal retrieval tasks, LEAF improves the recall under adversarial noise over standard CLIP models. Finally, we show that robust text encoders facilitate better reconstruction of input text from its embedding via direct optimization. We open-source our code ( https://github.com/LIONS-EPFL/LEAF ) and models ( https://huggingface.co/LEAF-CLIP ).
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29