アーカイブ / VLM / Computer Vision
画像検索の再順位付けで、候補を見分ける視覚情報を残すRaDiCal
RaDiCal
RaDiCalの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Saliency highlights visually prominent but common regions, while rank-discriminative scoring identifies query-relevant, candidate-distinctive evidence for reranking.
概要
- 検索文との関連性と候補間の違いを使い、再順位付けに必要な視覚トークンを選ぶ。
- Flickr30Kの20％保持時、MRR@10は83.98％で、削減しないDenseは84.04％だった。
- Flickr30Kの20％保持時、著者らは二つの画像・言語モデルでDense比1.28倍と1.45倍の実測速度を報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RaDiCalの仕組み
- 01検索文と候補画像
- 02視覚トークン化
- 03重要度を統合
- 04トークンを削減
- 05候補を再順位付け
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
RaDiCalは、画像検索で見つけた複数の候補を画像・言語モデルで並べ直すとき、読み込む視覚情報を減らす方法である。候補をまとめて比較する一括再順位付けでは、各画像を細分した「視覚トークン」が積み重なり、処理量が増える。
この処理で必要なのは画像全体の説明より、検索文に対する候補の順序である。犬の画像が多い場合、目立つ犬の体よりも、「赤いフリスビーを捕る」という違いを示す部分が順位付けの手掛かりになる。
手法
まず候補画像を小さな視覚情報の単位であるトークンに変える。DTIと呼ぶ重要度は、各トークンが検索文にどれだけ合うかと、全候補の視覚情報の平均からどれだけ異なるかを組み合わせて求める。これは注意の値を使わず、画像を読むモデルが出した情報から一度計算して各層で再利用する。
次に、各層で文章から視覚トークンへの「注意」がどれだけ集中するかを測る。注意が広く散る層ではDTIを強く、集中する層では注意に基づく重要度を強く反映する。同じ集中度の変化から削減を行う層を選び、そこで評価の高いトークンを残して候補の順位を出す。
新規性
著者らの提案は、画像内で目立つかどうかと、候補の順位付けに役立つかどうかを分けて扱う点にある。検索文との関連性と候補間の違いから、各視覚トークンの重要度を求める。
さらに、層ごとの注意の集中度を使い、注意に基づく重要度をどの程度採用するかを決める。同じ指標で削減する層も選び、データセットごとの再調整を要しない構成とした。
従来手法との違い
比較対象は視覚トークンを削らないDenseと、FastV、PyramidDrop、SparseVLM、DART、VisionZip、LowResの六方式である。著者らは各方式を同じQwen3-VLの枠組みで実装し、視覚トークンの保持率をそろえて比較した。
従来の注意に基づく削減は、注目されやすい画像領域を残す。RaDiCalは検索文に合い、ほかの候補との違いも示す領域を評価する。ただし注意が集中する層では、注意から得た情報も選択に反映する。
実験結果
著者らはFlickr30KとMSCOCOのKarpathyテスト分割を、それぞれ1,000質問、各20候補で評価した。視覚トークンを20％残す条件のMRR@10（正解の順位を10位まで評価する指標）は、Flickr30Kで83.98％、Denseで84.04％、MSCOCOで59.09％、Denseで58.94％だった。
FashionIQでは検証分割6,016質問のうち、正解が初段検索の上位20候補に入った1,599質問だけを評価した。同条件のcMRR@10は39.79％で、比較した削減方式の中では最高だが、Denseの41.94％には届かない。Flickr30Kの20％保持時、著者らはDense比の実測速度をQwen3-VL-4Bで1.28倍、InternVL2.5-8Bで1.45倍と報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：写真アーカイブで「赤いフリスビーを捕る犬」という文から画像を探す。既存の検索器が出した候補画像と検索文をRaDiCalを組み込んだ画像・言語モデルに渡し、並べ直した結果を担当者に示す。
入力には保存済み写真、検索文、候補集合が必要で、追加センサーは想定しない。方式自体の追加学習用データは不要だが、効果の確認には検索文ごとの正解画像ラベルを用意する。候補の出し方とモデルへの組み込みは、適用先に合わせて決める。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：保存済み写真と検索文を集め、各文に対応する正解画像のラベルを付ける。追加センサーや方式自体の追加学習用データは不要だが、候補を出す既存検索器と、対象の画像・言語モデルに削減処理を組み込む作業が必要になる。
同じ候補集合で、削減しないDenseと視覚トークンを20％残すRaDiCalを比べる。MRR@10、正解画像が候補に含まれる割合、検索一件当たりの実測時間を記録する。参照画像と文章を併用するなら、その入力形式へのDTIの適用手順も確かめる。
限界と課題
著者らの評価では、FashionIQの順位指標は正解が初段検索の上位20候補に入った質問だけを対象とする。この数値から、全質問での検索成功率は判断できない。候補の視覚的な類似度別分析については、確認できた本文の範囲では説明が途中で終わっている。
編集上の検証事項は、自社の写真でも正解が候補に入るか、順位と実測時間がどう変わるかである。参照画像と文章を組み合わせる検索では、重要度計算を入力形式に合わせる具体的な手順も確認したい。これらは著者が報告した欠点ではない。
出典
元のタイトル・要旨を確認する（英語）
From Saliency to Discriminability: Rank-Preserving Visual Token Pruning for VLM Rerankers
Large vision-language models used as listwise rerankers must jointly process visual tokens from tens of candidates per query, making token pruning essential for practical deployment. Existing pruning methods retain tokens by attention saliency, yet we show that saliency is systematically misaligned with ranking contribution: visually prominent tokens often capture order-neutral patterns shared across candidates. This mismatch is layer-dependent: saliency becomes informative only where attention is concentrated, and normalized attention entropy diagnoses the reliability shift (Pearson r=0.87). We propose RaDiCal (Rank-Discriminative Calibration), a training-free framework that uses normalized attention entropy to decide when saliency can be trusted, fusing it with an attention-free rank-discriminative prior and selecting pruning layers from the same trust landscape. Across three retrieval benchmarks and multiple VLM architectures, RaDiCal matches Dense MRR@10 on Flickr30K and surpasses it on MSCOCO at a 20% token budget, ranks first among all pruning methods on FashionIQ, and holds within 1.2 pp on Flickr30K and MSCOCO at 10% retention. It cuts FLOPs by 39--45% and delivers 1.28--1.45$\times$ measured speedups across two VLM architectures without dataset-specific retuning.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01