アーカイブ / VLM / Computer Vision
画像と文章の対応を一組ずつ学ぶSigLIP、バッチを大きくする効果も検証
SigLIP
概要
- SigLIPは画像と文章の各組を独立に判定するシグモイド損失で対応関係を学ぶ。
- 著者らの比較では、バッチが16,000未満の条件で従来のソフトマックス方式を上回った。
- バッチは最大100万まで試されたが、性能改善は約32,000で概ね頭打ちになった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SigLIPの仕組み
- 01画像と対応文
- 02両方を数値化
- 03組ごとに一致判定
- 04対応する特徴を学習
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像と文章を同じ数値空間に置くモデルは、文章から画像を探したり、画像に合う分類名を選んだりできる。学習では正しい組と誤った組を比べるが、多数の組を一度に扱うと計算やメモリの負担が増える。
バッチは一回の更新で使うデータのまとまりを指す。大きくすれば比較相手は増えるものの、どこまで増やす価値があるかは別の問題だ。著者らは学習時の比較方法を変え、性能と計算上の扱いやすさを調べた。
手法
まず画像と文章をそれぞれモデルで数値表現に変え、正しい組と、それ以外の組との似かたを計算する。SigLIPは各組について一致・不一致を判定するシグモイド損失を使う。損失とは、望ましい答えからのずれを学習のために数値化したもので、正しい組は近く、誤った組は離れるようにモデルを更新する。
例えば商品の写真とその説明文を正しい組とし、別商品の説明文との組を誤った組として扱う。各組の計算を独立に足せるので、機器をまたぐ学習では文章の特徴を小分けに移し、必要な組だけ順に計算できる。SigLiTは既存の画像モデルを固定して文章側を学ぶ設定、SigLIPは画像側も学ぶ設定である。
新規性
提案の核心は、画像と文章の対応学習に、各組を独立に判定するシグモイド損失を使う点だ。従来のソフトマックス損失がバッチ全体で点数を正規化するのに対し、各組の損失を足し合わせられる。
この性質により、画像と文章の特徴を機器間で小分けに交換する実装が可能になった。著者らはバッチを最大100万組まで試し、規模を増やし続けても性能の改善は早く頭打ちになることを示した。
従来手法との違い
比較対象は、CLIPやLiTで一般的なソフトマックスによる対照学習である。対照学習は、正しい画像・文章の組を近づけ、無関係な組を遠ざける。ソフトマックス方式では、画像側と文章側の双方でバッチ全体の点数を基に正規化する。
SigLIPの方式では各組を二択で判定するため、小さいバッチでの性能と損失計算のメモリ使用量に利点があると著者らは報告する。バッチが大きくなると性能差は縮まる。学習データやモデル構成が違う実験同士を、損失関数だけの公平な比較として扱うべきではない。
実験結果
著者らはImageNetのゼロショット分類を評価した。ゼロショットとは、その分類課題向けの追加学習なしで分類名の文章と画像を照合する条件を指す。固定した画像モデルを使うSigLiTでは、TPUv4を4基、2日間使い、バッチ2万の設定で84.5％を報告した。この値はSigLIPを初めから学習した結果ではない。
英語の画像・文章で学習したSigLIPでは、TPUv4を16基、3日間使う設定で71.0％だった。著者らのバッチ比較では、16,000未満でシグモイド方式がソフトマックス方式を上回り、約32,000で効果が概ね飽和した。多言語設定では、XM3600の36言語の文章から画像を探す評価で平均34.9％を報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製品画像に対応する説明文を探す社内検索に使う。入力は担当者が書いた短い日本語の説明文、または製品写真。画像と文章を共通の特徴空間に変え、近い候補を順位付きで表示するのが出力である。
担当者は候補と実物の型番や仕様を照合する。論文には100言語を超える学習設定の評価があるが、この用途の日本語製品語彙での成績は示されていない。製品固有の略語や似た外観を含む検索で検証する必要がある。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：画像と説明文の正しい組を用意し、似た外観の別製品も検索候補へ含める。文章から画像を探す課題で、現在の検索手順とSigLIP由来の特徴量による順位を比べ、正しい候補が上位に入る割合と確認時間を測る。
日本語の略語、型番、色違い、撮影角度ごとに結果を分ける。モデルを追加学習する場合は、同じデータと更新回数でソフトマックス方式との比較を設計し、精度に加えて学習時のメモリ使用量も記録する。
限界と課題
著者らは、バッチを極端に大きくしても効果が頭打ちとなり、条件によっては性能が下がると報告する。また、別画像に付いた文章を無関係な組として扱う前提は完全ではなく、実際には内容が似た文章も混ざり得る。大きなバッチでは学習が不安定になるため、設定の調整も行った。
導入時の確認事項は、手元の画像と文章の対応付けに誤りがないか、似た製品を検索で区別できるかである。ImageNetでの分類値を、そのまま製品検索の適合率に読み替えることはできない。
出典
元のタイトル・要旨を確認する（英語）
Sigmoid Loss for Language Image Pre-Training
We propose a simple pairwise Sigmoid loss for Language-Image Pre-training (SigLIP). Unlike standard contrastive learning with softmax normalization, the sigmoid loss operates solely on image-text pairs and does not require a global view of the pairwise similarities for normalization. The sigmoid loss simultaneously allows further scaling up the batch size, while also performing better at smaller batch sizes. Combined with Locked-image Tuning, with only four TPUv4 chips, we train a SigLiT model that achieves 84.5% ImageNet zero-shot accuracy in two days. The disentanglement of the batch size from the loss further allows us to study the impact of examples vs pairs and negative to positive ratio. Finally, we push the batch size to the extreme, up to one million, and find that the benefits of growing batch size quickly diminish, with a more reasonable batch size of 32k being sufficient. We release our models at https://github.com/google-research/big_vision and hope our research motivates further explorations in improving the quality and efficiency of language-image pre-training.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29