アーカイブ / VLM
商品文と画像を別々に圧縮して結合するクリック率予測
Separate PCA Feature Fusion with DIN
概要
- 商品文と画像を別々にPCAで圧縮して結合し、DINを基に閲覧履歴と照合してクリックを予測する。
- 著者らの評価表では、この方式のAUCは0.9306で、掲載された他の三方式を上回った。
- 評価データの分割条件や推論時間は確認できた本文から分からず、導入時に測定が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Separate PCA Feature Fusion with DINの仕組み
- 01商品文・画像・履歴
- 02BERT・CLIPで特徴化
- 03別々にPCA圧縮・結合
- 04DINでクリック予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、候補商品を見せたときに利用者がクリックする確率、すなわちCTRを予測する。商品の文章と画像を閲覧履歴とともに扱えば、候補商品に対する関心を推定する材料が増える。
著者らは、大規模なマルチモーダルモデルを推薦に使う際の計算量と応答の遅さを課題に挙げる。そこで、文章と画像から得た数値の特徴をどうまとめ、履歴との照合に渡すかを検討した。
手法
商品文はBERT、商品画像はCLIPから数値の特徴を得る。提案するV4では、それぞれにPCA（主成分分析）を適用する。これは数値の特徴を少ない次元に縮める方法で、圧縮した文章特徴と画像特徴を結合し、候補商品の表現にする。
その表現と利用者の行動履歴を、DIN（Deep Interest Network）を基にしたモデルへ入れる。複数の注意機構が候補商品に関係する履歴へ重みを付け、SENetが特徴ごとの重みを調整し、多層の計算を経てクリックを予測する。例えば商品の説明文と画像を特徴化し、過去に見た商品との関係から、その商品をクリックする確率を出す。
新規性
著者らが比較した中心的な違いは、文章と画像の特徴をそれぞれ主成分分析で圧縮してから結合する順序にある。同じ評価表では、結合後に一括で圧縮する方式より高いAUCを得た。
この商品表現を、利用者の履歴と候補商品を照合するDINベースのモデルで使う。ただし、表から読み取れるのは特徴の作り方による差であり、モデル内の各機構が単独で寄与した量は分からない。
従来手法との違い
比較したV1は文章特徴のみ、V2は画像特徴のみを圧縮する。V3は両者を結合してから一括で圧縮し、提案するV4は別々に圧縮してから結合する。いずれも商品特徴の作り方を変えた比較である。
著者らの表ではAUCがV1は0.9247、V2は0.9231、V3は0.9124、V4は0.9306だった。この結果から、別の推薦モデルへの優位性や、大規模モデルとの推論時間の差までは判断できない。
実験結果
著者らはマルチモーダルCTR予測の競技Task 2で優勝したと報告する。特徴の作り方はAUCで比較した。AUCは、クリックした例をクリックしなかった例より高く順位付けできる度合いを表す指標である。
掲載表のAUCは、文章のみのV1が0.9247、画像のみのV2が0.9231、結合後に圧縮するV3が0.9124、別々に圧縮して結合するV4が0.9306だった。確認できた本文の範囲では、評価データの名称・分割条件、圧縮後の次元数、推論時間の測定値は分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：記事一覧で次に開かれそうな記事の表示順を検討する。入力は記事の文章・画像、読者の閲覧履歴、記事の表示ログとクリック有無のラベルとする。出力は候補記事ごとのクリック確率である。
学習には、文章と画像を記事単位で対応付けた過去の表示・閲覧データが要る。追加のセンサーは想定せず、商品を記事に置き換えて特徴の作成と履歴の扱いを調整する。この用途で精度が上がるかは別途確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：商品文・画像、利用者の閲覧履歴、商品を表示した記録とクリック有無のラベルを対応付けて学習データを作る。追加のセンサーは想定しない。対象商品の文章と画像に合わせて特徴を作り、別々に圧縮してDINベースの予測器へ渡す。
比較基準には、文章と画像を結合してから圧縮するV3を置く。同じデータ分割と学習条件でAUCを比べ、予測に要する時間も測る。画像欠損や短い履歴ごとの成績を確認し、翻訳文の誤りと形式不良の検出も試す。
限界と課題
著者らは、前処理で中国語から英語に翻訳した一部のデータに、誤訳や不正なJSON形式を見つけたと述べる。また、使用した主成分分析では複雑な特徴の構造を十分に残せない可能性を挙げている。
編集上の検証事項は、文章と画像の欠損への対応、圧縮後の次元数、推論時間、別のデータでの再現性である。競技の受賞と掲載されたAUCだけでは、実運用時の速度やデータ品質の影響は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Feature Fusion Revisited: Multimodal CTR Prediction for MMCTR Challenge
With the rapid advancement of Multimodal Large Language Models (MLLMs), an increasing number of researchers are exploring their application in recommendation systems. However, the high latency associated with large models presents a significant challenge for such use cases. The EReL@MIR workshop provided a valuable opportunity to experiment with various approaches aimed at improving the efficiency of multimodal representation learning for information retrieval tasks. As part of the competition's requirements, participants were mandated to submit a technical report detailing their methodologies and findings. Our team was honored to receive the award for Task 2 - Winner (Multimodal CTR Prediction). In this technical report, we present our methods and key findings. Additionally, we propose several directions for future work, particularly focusing on how to effectively integrate recommendation signals into multimodal representations. The codebase for our implementation is publicly available at: https://github.com/Lattice-zjj/MMCTR_Code, and the trained model weights can be accessed at: https://huggingface.co/FireFlyCourageous/MMCTR_DIN_MicroLens_1M_x1.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01