アーカイブ / VLM / Computer Vision
画像と変更指示から商品を探すCIR-CoT:検索理由を文章で示す
CIR-CoT
CIR-CoTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Comparison of three retrieval approaches: (a) VLM-based method; (b) MLLM-based method (treating the MLLM as an encoder); (c) our CIR-CoT approach, enhanced with Chain-of-Thought reasoning for more accurate image retrieval.
概要
- 参照画像と変更指示から理由を文章で生成し、目的画像の数値表現で候補を検索する。
- 著者らのCIRRテストでは、Recall@1はFull版55.06、Fast版54.31だった。
- 実務適用には正解商品と指示の組を用意し、検索精度、理由の忠実さ、待ち時間を確認する必要がある。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CIR-CoTの仕組み
- 01参照画像と変更指示
- 02特徴描写と変更推論
- 03目的画像の記述
- 04検索表現で候補照合
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CIR-CoTは、参照画像に変更指示を添えて目的の画像を探す。これは複合画像検索と呼ばれ、例えば服の形を保ちながら袖だけを長くした商品を探す課題に当たる。
検索には、画像のどの特徴を残し、指示に沿って何を変えるかの把握が必要だ。著者らは、従来法では検索理由が利用者に見えにくく、細かな指示の扱いにも課題があると述べる。
手法
CIR-CoTは参照画像と指示を受け、元画像の描写、変更点の推論、探す画像の説明を順に文章で作る。「この服の袖を長く」なら、元の服の特徴を捉え、袖をどう変えるかを述べる。続いて専用の記号に目的画像の内容を数値表現としてまとめ、候補画像と照合する。
学習では、Fashion-IQとCIRRの画像・指示に三段階の理由を自動で付け、結論を正解画像と照らして不整合な例を除く。まず文章を数値表現に圧縮する訓練を行い、次に理由の生成と画像の照合を学ぶ。照合では正解画像との表現を近づけ、同じ学習単位にある別の画像から遠ざける。
新規性
著者らは、参照画像と変更指示から段階的な理由を生成し、その内容を検索用の数値表現につなぐ構成を提案する。説明文の生成と正解画像の照合を一体で学習する点が特徴だ。
既存のFashion-IQとCIRRには理由の記述がないため、参照画像の描写、変更の推論、目的画像の結論という三段階の注釈を作成した。
従来手法との違い
従来の一部の手法は、画像と指示を別々に数値化して結合する。CIR-LVLMは両者を大規模な画像・文章モデルに入力して検索する。著者らは、こうした方法では検索に至る理由が見えにくいと述べる。
CIR-CoTは理由を文章で出してから検索表現を作る。CIRRテストのRecall@1はFull版が55.06、比較表のCCINが53.41だった。この数値は同表の評価条件での比較である。
実験結果
著者らはCIRRテスト、Fashion-IQ検証、CIRCOテストで評価した。Recall@1は正解が先頭候補にある割合で、CIRRではFull版55.06、理由の結論だけを生成するFast版54.31だった。Fashion-IQの三分類平均はRecall@10が56.29、Recall@50が76.42だった。
CIRRで学習してCIRCOテストへ直接適用する条件では、複数の正解を考慮するmAP@5が33.54で、同じ教師あり手法群のSPRCは22.86だった。いずれも著者らが示す指定データでの結果であり、実際の商品検索での成績は測っていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:衣料品の検索で、利用者が商品の写真と「同じ形で袖が長いもの」という指示を入力する。登録済みの商品写真から候補を返し、元の服の特徴、袖の変更、探す服の説明も表示する。
必要なのは参照写真・指示文・正解商品写真の組、正解を示すラベル、検索対象の商品写真である。追加のセンサーは想定しない。対象商品に合う理由の注釈を整え、追加学習が必要かを確かめる応用案であり、検索改善を保証するものではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:既存の商品写真から参照写真・変更指示・正解写真の組を用意し、正解商品を示すラベルを付ける。複数の商品が正解になり得る場合は、その一覧も整える。入力と候補には登録済み画像を使い、追加のセンサーは想定しない。
画像と指示を直接照合する方式を基準に、理由の注釈を整えて対象商品に合わせて学習した方式と比べる。同じ候補集合で先頭候補の正解率、変更点との一致、理由の誤り、検索時間を測り、注釈の確認作業量も記録する。
限界と課題
著者らは、長い理由を生成すると検索が遅くなるため、結論だけを生成するFast版を報告している。また、Fashion-IQでの改善幅がCIRRより小さい理由として、衣料品画像と変更指示の多様性が限られることを挙げる。
編集上の検証事項は、表示された理由が画像と指示に忠実か、誤った説明が候補選択をもっともらしく見せないかである。自社商品の写真や曖昧な指示については、精度と待ち時間を別途測る必要がある。
出典
元のタイトル・要旨を確認する(英語)
CIR-CoT: Towards Interpretable Composed Image Retrieval via End-to-End Chain-of-Thought Reasoning
Composed Image Retrieval (CIR), which aims to find a target image from a reference image and a modification text, presents the core challenge of performing unified reasoning across visual and semantic modalities. While current approaches based on Vision-Language Models (VLMs, e.g., CLIP) and more recent Multimodal Large Language Models (MLLMs, e.g., Qwen-VL) have shown progress, they predominantly function as ``black boxes." This inherent opacity not only prevents users from understanding the retrieval rationale but also restricts the models' ability to follow complex, fine-grained instructions. To overcome these limitations, we introduce CIR-CoT, the first end-to-end retrieval-oriented MLLM designed to integrate explicit Chain-of-Thought (CoT) reasoning. By compelling the model to first generate an interpretable reasoning chain, CIR-CoT enhances its ability to capture crucial cross-modal interactions, leading to more accurate retrieval while making its decision process transparent. Since existing datasets like FashionIQ and CIRR lack the necessary reasoning data, a key contribution of our work is the creation of structured CoT annotations using a three-stage process involving a caption, reasoning, and conclusion. Our model is then fine-tuned to produce this structured output before encoding its final retrieval intent into a dedicated embedding. Comprehensive experiments show that CIR-CoT achieves highly competitive performance on in-domain datasets (FashionIQ, CIRR) and demonstrates remarkable generalization on the out-of-domain CIRCO dataset, establishing a new path toward more effective and trustworthy retrieval systems.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




