アーカイブ / Computer Vision
画像内の物体を文章で探すFOR：既知カテゴリで学び、未知カテゴリも検索
FOR
FORの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Retrieval framework: Images are first encoded with a predefined number of embeddings and stored in a large-scale index. Subsequently, rapid and repeatable retrieval is performed by encoding text queries and conducting nearest neighbor searches. Notably, dual-encoder architectures enable separation into offline and online schemes, while scalability is enhanced by using a small number of embeddings per image.
概要
- FORは、対象画像群の既知カテゴリのラベルとImageNet-21Kのカテゴリ名から作る疑似ラベルを併用し、物体検索用の画像表現を学習する。
- 著者らの検証では、画像一枚当たり50表現の条件で、3データセットすべての未知カテゴリmAP@50が同条件のCluster-CLIPを上回った。
- 導入判断には、手元の画像で未知カテゴリの検索精度、疑似ラベルの誤り、保存量と処理時間を測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、FORの仕組み
- 01対象画像と検索文
- 02画像を複数表現化
- 03文との近さを計算
- 04画像を順位付け
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
FORは、文章で指定した物体を含む画像を画像群から探す方法である。画像のラベルが一部のカテゴリに限られると、後からまれな物体を探す際にラベル検索だけでは候補を拾えない。著者らは、画像内の物体を対象にした検索を扱う。
画像と文章を近い数値表現に変えるCLIPは検索に使えるが、画像全体を一つの表現にまとめる。複数の物体が写る画像では、それぞれを検索対象として表すには不十分だと著者らは説明する。
手法
FORは、固定したCLIPの画像処理部で画像の特徴を取り出し、SUM-CLIPに渡す。SUM-CLIPは学習可能な複数の「問い合わせ」で画像内の情報を読み、物体検索に使う少数の数値表現を作る。学習時には、対象画像群の既知カテゴリのラベルと、Cluster-CLIPの画像表現をImageNet-21Kのカテゴリ名と照合して付けた疑似ラベル、つまり自動生成した仮のラベルを併用する。
検索時には、各画像の表現を先に作って保存する。例えば物体名を検索文にすると、CLIPの文章処理部が文を数値表現に変え、各画像の表現との近さで画像を並べる。画像一枚に複数の表現がある場合は、検索文に最も近い表現の値をその画像の順位付けに使う。学習に使わなかったカテゴリ名も検索語にできる設計である。
新規性
FORは、対象画像群の既知カテゴリのラベルで画像表現を調整しつつ、学習時に扱わないカテゴリも検索できるように設計されている。少数の表現を直接作るSUM-CLIPと、既知ラベル・疑似ラベルを併用する学習を組み合わせた。
著者らの設計では、CLIPの画像処理部と最終注意層の線形層を固定し、追加した問い合わせとデコーダーを学習する。これにより、画像と文章の対応を保ちながら対象データへ調整し、検索用表現を作る際のCPU上のクラスタリングも省く。
従来手法との違い
Cluster-CLIPは、画像内の多数の位置から表現を作り、クラスタリングで少数にまとめる。FORは学習可能な問い合わせを使い、画像一枚から決まった数の表現を直接作る。対象データで画像側を調整できる点も異なる。
元のCLIPは画像全体を一つの表現にするため、複数の物体を個別に探す課題では情報が足りないと著者らは述べる。FORでも既知ラベルだけによる学習では、COCOとnuImagesの未知カテゴリの成績が低下した。疑似ラベルを併用する設計は、この低下への対策である。
実験結果
著者らはCOCO 2017、LVIS、nuImagesの検証用画像で、各データセットのカテゴリ名を検索語にした。既知カテゴリは学習と評価に、未知カテゴリは評価だけに使い、上位50画像を対象とするmAP@50で測定した。画像一枚当たり50表現の条件では、未知カテゴリのmAP@50はFORとCluster-CLIPの順に、COCOで89.17と82.60、LVISで64.15と56.55、nuImagesで15.09と13.76だった。
著者らは、画像側の推論時間がCluster-CLIPの約3分の1になったと報告し、CPU上の後処理の削減と一括処理を主因に挙げる。確認できた本文の範囲では、半教師あり設定の成績表と速度測定の細かな条件は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：交通場面の画像保管庫で、文章に書いた物体を含む画像の候補を探す。入力は撮影済みの画像と検索文、出力は関連度順の画像一覧とし、担当者が上位結果の実際の内容を確認する。
試行には、対象画像群の学習用画像、既知カテゴリのラベル、未知カテゴリの評価用ラベルが要る。FORの学習に使う疑似ラベルの候補にはImageNet-21Kのカテゴリ名を用い、対象画像で画像側を調整する。追加センサーはこの検索入力として想定せず、撮影機器の条件は手元の画像について記録する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：検索対象に近い画像を学習用と評価用に分け、既知カテゴリの学習用ラベルと、未知カテゴリも含む評価用ラベルを用意する。疑似ラベル用のImageNet-21Kカテゴリ名を確認し、対象画像でSUM-CLIPを調整する。画像以外のセンサー情報は入力に加えず、撮影条件を記録する。
同じ評価画像と検索語で、50表現を使うCluster-CLIPを基準に比較する。未知カテゴリのmAP@50に加え、既知カテゴリの成績、画像一枚当たりの保存表現数、画像側の処理時間を測る。疑似ラベルの誤りと上位の検索結果も人が確認し、対象画像群での利用可否を判断する。
限界と課題
著者らは、既知カテゴリのラベルだけで学習すると、COCOとnuImagesで未知カテゴリの検索成績が大きく下がると報告する。少数のラベルを使う半教師あり設定でも有効だったと述べるが、確認できた本文の範囲では、その成績を示す表の数値は確認できない。
編集上の検証事項は、疑似ラベルの誤りが検索順位に及ぼす影響と、対象画像の撮影条件や未知カテゴリが変わった場合の成績である。表の数値は指定されたデータ分割と評価条件の結果であり、手元の画像群での精度、保存する表現の量、処理時間は別途測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
FOR: Finetuning for Object Level Open Vocabulary Image Retrieval
As working with large datasets becomes standard, the task of accurately retrieving images containing objects of interest by an open set textual query gains practical importance. The current leading approach utilizes a pre-trained CLIP model without any adaptation to the target domain, balancing accuracy and efficiency through additional post-processing. In this work, we propose FOR: Finetuning for Object-centric Open-vocabulary Image Retrieval, which allows finetuning on a target dataset using closed-set labels while keeping the visual-language association crucial for open vocabulary retrieval. FOR is based on two design elements: a specialized decoder variant of the CLIP head customized for the intended task, and its coupling within a multi-objective training framework. Together, these design choices result in a significant increase in accuracy, showcasing improvements of up to 8 mAP@50 points over SoTA across three datasets. Additionally, we demonstrate that FOR is also effective in a semi-supervised setting, achieving impressive results even when only a small portion of the dataset is labeled.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01