アーカイブ / VLM / LLM
DashCLIP：商品画像・商品名と検索語を結び付け、広告予測で検証
DashCLIP
概要
- 約40万商品の画像と商品名で商品表現を追加学習し、関連度ラベルを使って検索語の表現を対応付ける。
- 検索広告の翌週評価では、商品・検索語・類似度・購入履歴を加えた構成のROC-AUCが0.7787で、既存DCNの0.7731を上回った。
- 著者らは10日間のA/Bテストでクリック率3.73％増、転換率4.06％増を報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DashCLIPの仕組み
- 01商品画像・商品名
- 02商品表現の再学習
- 03関連度で検索語を対応付け
- 04商品・検索語の数値表現
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DashCLIPは、商品画像と商品名から商品を表し、利用者の検索語と結び付ける手法である。通販の商品には画像と文章の両方があり、汎用の画像・文章モデルだけでは、その商品群に固有の細かな関係を捉えにくいと著者らは考えた。
過去のクリックなどから学んだ表現には、利用者に表示された商品や表示位置の偏りが入り得る。商品と検索意図の対応を学ぶ方法は、検索結果や広告候補を選ぶ際に重要になる。
手法
まず約40万商品の画像と商品名を使い、既存のBLIP-14Mを商品データに合わせて追加学習する。画像用と文章用の符号化器で対応する画像・商品名の表現を近づけ、両方を扱う符号化器では画像と文章が合うかを学ぶ。符号化器とは、入力を比較可能な数値の並びに変える部分である。
次に検索語用の符号化器を加える。人手で判定した70万件を基に言語モデルが付けた関連度ラベルから、関連する検索語を商品に近づけ、関連しない語を遠ざける学習例を作る。例えば「ルッコラ」という検索語なら、該当商品と代用品と無関係な商品を区別して扱う。
新規性
DashCLIPは、商品画像・商品名から作る表現を商品データに合わせて学習し、次に検索語の表現を同じ数値空間へ対応付ける。画像だけ、文章だけ、画像と文章を合わせた表現も用途に応じて作れる。
検索語との対応付けには、70万件の人手判定を基に調整した言語モデルによる関連度ラベルを使う。著者らが強調するのは、この学習段階ではクリックなどの利用履歴に依存しない点である。
従来手法との違い
検索広告のクリック率予測では、既存のDeep & Cross Network（DCN）と比較した。商品・検索語の表現、その類似度、購入履歴を加えた構成に加え、同じ構成で表現をランダムに初期化した場合も調べている。
商品カテゴリ予測の比較対象は、商品表現の学習開始点に使ったBLIP-14Mである。広告予測で最も良かった構成には購入履歴も含まれるため、その改善幅を商品と検索語の対応付けだけの効果とは解釈できない。
実験結果
著者らは検索広告のクリック率予測を、7か月のクリック履歴で学習し、その翌週のデータで評価した。5回の平均ROC-AUCは既存DCNが0.7731、商品・検索語・類似度を加えた構成が0.7741、さらに購入履歴を加えた構成が0.7787だった。同じ追加構成で表現をランダムに初期化すると0.7731だった。
2024年8月の10日間、利用者単位で行った店内画面のA/Bテストでは、既存DCNに対しクリック率が3.73％、転換率が4.06％、売上が1.46％増えたと著者らは報告する。商品カテゴリ予測の平均F1値は、BLIP-14Mの0.801に対しDashCLIPが0.850だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：小売店の商品検索で、検索語に合う商品候補を探す用途を考える。入力は既存の商品画像・商品名と利用者の検索語、出力は商品と検索語の数値表現、および両者の近さに基づく候補とする。
自社の商品データに合わせて商品表現を学習し、人手で判定した検索語と商品の関連度を使って検索語表現を対応付ける。追加センサーは想定しない。候補の順位が自社の検索で役立つかは、この応用案について別途確かめる必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：少数の商品群で既存の画像と商品名を集め、検索語と商品の関連度を人手で判定する。追加センサーは用いず、まず商品表現を自社データに合わせ、次に関連度ラベルで検索語表現を対応付ける。
既存の検索結果を基準に、上位候補が人手の関連度判定とどれだけ一致するかを比べる。広告のクリック率予測も試すならクリック履歴が必要で、購入履歴を使う構成にはその履歴も必要になる。学習期間より後のデータでROC-AUCを測り、購入履歴の有無でも結果を分けて確認する。
限界と課題
著者らは、抽出した約1万3000商品の調査で、説明文の32％、詳細文の20％が欠けていたと報告する。詳細文には広告的な記述も多いとして、表現の学習には商品画像と商品名を用いた。
編集上の検証事項は、別の店舗の商品構成や日本語の検索語でも関連度ラベルが妥当か、購入履歴のない利用者にも有用かである。確認できた本文の範囲では後半が途切れており、商品と検索語の関連度予測の結果や、カテゴリ予測の表の詳細は確認できない。
出典
元のタイトル・要旨を確認する（英語）
DashCLIP: Leveraging multimodal models for generating semantic embeddings for DoorDash
Despite the success of vision-language models in various generative tasks, obtaining high-quality semantic representations for products and user intents is still challenging due to the inability of off-the-shelf models to capture nuanced relationships between the entities. In this paper, we introduce a joint training framework for product and user queries by aligning uni-modal and multi-modal encoders through contrastive learning on image-text data. Our novel approach trains a query encoder with an LLM-curated relevance dataset, eliminating the reliance on engagement history. These embeddings demonstrate strong generalization capabilities and improve performance across applications, including product categorization and relevance prediction. For personalized ads recommendation, a significant uplift in the click-through rate and conversion rate after the deployment further confirms the impact on key business metrics. We believe that the flexibility of our framework makes it a promising solution toward enriching the user experience across the e-commerce landscape.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01