アーカイブ / VLM / Computer Vision
人物像に合う商品画像を探す：視覚言語モデルの選好を画像検索に移す手法
Preference-Aligned Distillation
Preference-Aligned Distillationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Comparison of methods for persona-based product image retrieval. vLLMs capture preferences well but cannot retrieve from a large image catalog (context limit); Embedding-based CLIP enables retrieval but is not well aligned to product recommendation. Our approach distills vLLM preferences into an embedding-based approach to achieve both.
概要
- 教師モデルが人物像に対して付けた商品画像の順位から、検索モデルの画像側の表現を調整する。
- 検索時は事前計算した商品画像の表現と入力文章の近さで順位づけする。
- 著者らの６つの試験条件では比較した検索法を上回ったが、評価上の正解は教師モデルの選択である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Preference-Aligned Distillationの仕組み
- 01人物像と候補画像
- 02教師による順位
- 03画像側を調整
- 04商品画像を検索
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
商品画像検索では、文章と画像を数値の列に変え、その近さで商品を並べる。数値の列を埋め込みという。この方法は大量の商品を探しやすいが、物や色を説明する文章で学んだモデルは、「園芸が好きな母への贈り物」のような間接的な条件を捉えにくい。
視覚言語モデルは文章と画像を合わせて判断できる。ただし一度に扱える入力の長さには限りがあり、大量の商品画像をまとめて比較できない。著者らは、その判断を通常の画像検索に移す方法を検討した。
手法
学習時には、人物像の文章と５枚の候補画像を教師となる視覚言語モデルに渡し、適合する順に並べてもらう。例えば「園芸が好きな母」に対する順位から、画像２枚のうちどちらが上かを取り出す。検索モデルは文章側を固定し、画像を数値の列に変える部分を調整して、教師の順序に合う点数を付ける。
候補選びには検索モデル自身の点数を使う。点数を４つの帯に分け、各帯から画像を選んで教師に示す。検索時には商品画像の数値の列を事前に計算し、入力文章との近さで並べるため、教師による商品群全体の逐次比較は行わない。
新規性
教師となる視覚言語モデルが少数の候補画像につけた順位を、画像検索モデルの学習信号に変える。順位から画像２枚ずつの優劣を取り出し、その順序を検索モデルの点数に反映させる。
候補画像は現在の検索モデルの点数帯を使って選ぶ。適合度が異なる画像を同じ組に含め、教師の判断を学習に利用する点が手法の特徴である。
従来手法との違い
比較対象は未調整のFashionCLIP、CLIP、商品画像から生成した説明文を使うテキスト検索である。いずれも人物像に合う商品を順位づけし、教師が選んだ画像の検索順位で比較する。
提案法はFashionCLIPを初期モデルとし、文章側を固定して画像側を調整する。表に示された６通りの未見の人物像・商品群の組み合わせでは、平均百分位順位が３つの比較対象をすべて上回った。
実験結果
著者らはOpenCharacterとNemotronの人物像、Farfetch、H&M、UT-Zap50Kの商品画像を使った。両人物像データの検証用・試験用はそれぞれ50件、各商品群の検証用・試験用画像はそれぞれ4,096枚。指標は教師が勝ち抜き比較で選んだ画像の平均百分位順位で、高いほどよい。
未見の人物像・商品群による試験では、NemotronとFarfetchで提案法87.31%、FashionCLIP83.08%、OpenCharacterとH&Mで提案法86.10%、FashionCLIP83.76%だった。表の６条件すべてで提案法が比較対象を上回る。ただし正解役の画像はGemini-2.0-flashが選んだもので、人の購買評価ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：贈り物を探す通販サイトで、利用者が「園芸が好きな母への贈り物」と入力すると、候補の商品画像を順位順に表示する。必要な入力は対象商品の画像と、想定する人物像を表す文章である。
導入先の商品画像と人物像の文章を学習用に集め、教師モデルに少数の画像の順位を付けてもらう。その順位で検索モデルを調整し、表示時には商品群全体から類似度で候補を探す。購買者の好みへの適合は別途確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象商品の画像と想定する人物像の文章を集め、学習用と試験用を分ける。学習には教師モデルが少数の候補画像につける順位が必要で、人手による対応ラベルは必須ではない。追加のセンサーは想定しない。
未調整のFashionCLIPを基準に、同じ試験用の文章と商品画像群で教師が選んだ商品の順位を比較する。担当者にも候補の適合を確認してもらい、教師の選択が推薦目的に合うかを調べる。日本語入力を使う場合は、その条件でも別に測る。
限界と課題
著者らは、学習時に教師モデルを多数回使い、評価用の勝者を決める勝ち抜き比較にも時間と費用がかかると述べる。また、構築した手法は英語での推論向けとしている。
編集上の検証事項は、日本語の人物像や別の商品群での精度、教師の判断と購買者の好みの一致である。実験表にはNemotronの結果が載る一方、制限節には同データの結果を未掲載とする記述があり、掲載状況には食い違いがある。
出典
元のタイトル・要旨を確認する（英語）
Embedding the Teacher: Distilling vLLM Preferences for Scalable Image Retrieval
Text--image retrieval is necessary for applications such as product recommendation. Embedding-based approaches like CLIP enable efficient large-scale retrieval via vector similarity search, but they are primarily trained on literal caption-like text--image pairs and often fail to capture abstract or persona-driven attributes common in product recommendation applications (e.g., ``a gift for a mother who loves gardening''). In contrast, state-of-the-art vision--language models (vLLMs) can align text with images in a flexible manner, but their limited context window prevents them from directly handling retrieval over large catalogs. We propose a framework that distills the preference rankings of a powerful vLLM into an embedding-based system, transferring its nuanced alignment abilities while maintaining the inference-time scalability of an embedding-based approach. Experiments on persona-driven product recommendation tasks demonstrate that our method significantly outperforms existing embedding-based baselines, providing an efficient solution for personalized text--image retrieval.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01