アーカイブ / LLM / Generative AI
商品画像とレビューを使い、別分野で履歴のない利用者に商品を薦めるMuSiC
MuSiC
MuSiCの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 . Overall architecture of MuSiC. Firstly, we utilize the user feature extraction module in the auxiliary and target domains to obtain features for side, overlapping, and cold-start users. Then, the features of side and overlapping users are used to train the cross-domain diffusion module, designed to generate feature vectors for cold-start users in the target domain. Finally, these generated feature vectors are combined with item features extracted by the item feature extraction module in the target domain to produce recommendations.
概要
- 商品画像・説明文と利用者レビューから、商品と利用者の特徴を作る。
- 推薦先だけの利用者で特徴の分布を学んだ後、両分野の利用者から分野間の対応を学ぶ。
- Amazonの三つの分野間課題で評価され、書籍→音楽のβ80%ではNDCGがCATNを下回った。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MuSiCの仕組み
- 01商品画像・説明文とレビュー
- 02商品・利用者の特徴抽出
- 03推薦先だけの利用者で学習
- 04両分野の利用者で学習
- 05推薦先の商品を順位付け
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
映画での履歴がある人でも、音楽では履歴がなければ好みに合う作品を薦めにくい。このように推薦先の利用履歴がない状態をコールドスタートという。分野をまたぐ推薦は、元の分野の履歴を手掛かりに推薦先での好みを推定する。
著者らは、従来法では画像や文章など複数種類の商品情報の活用が不十分で、推薦先だけを利用する人の情報も見落とされがちだと指摘する。
手法
MuSiCは商品画像と説明文を、画像と文章を扱う大規模言語モデルに入力する。利用者のレビューは文章を扱う大規模言語モデルに入力し、それぞれ数値の並びである特徴ベクトルに変える。モデルへの指示文を使い、言語モデル本体は追加学習しない。例えば映画→音楽なら、映画側の会員特徴と音楽作品の特徴を用意する。
次に拡散モデルを学習する。これは特徴に加えた乱れを段階的に取り除き、目標の特徴を作るモデルだ。まず音楽側だけの利用者から音楽側の特徴を学び、次に両分野を利用する人から分野間の対応を学ぶ。予測時は映画側の特徴を手掛かりに音楽側の会員特徴を生成し、作品特徴との内積による予測評価値で並べる。
新規性
MuSiCの新しさは、商品画像と説明文、利用者レビューから特徴を作り、推薦先だけを利用する人の情報を、分野をまたぐ推薦の学習に加える点にある。特徴とは、商品や好みを数値の並びで表したものだ。
拡散モデルの学習では、まず推薦先だけの利用者の特徴を復元し、次に両分野を利用する人を使って、元の分野の特徴から推薦先の特徴を作る方法を学ぶ。
従来手法との違い
EMCDRは分野間の特徴の対応付けを学び、DiffCDRは拡散モデルで推薦先の利用者特徴を生成する。MuSiCは、対応付けの学習前に、推薦先だけを利用する人の特徴も使って推薦先の分布を学ぶ。
比較表にはレビューを使うCATNなども載る。ただし、入力情報と学習手順は手法ごとに異なる。表で確かめられるのは、記載されたAmazonの課題と条件における指標の差である。
実験結果
著者らはAmazonデータの映画→音楽、書籍→映画、書籍→音楽を評価した。表には予測評価値の誤差を示すMAE・RMSEと、推薦順位を示すNDCGが、β20%・50%・80%の条件別に載る。確認できた本文の範囲では、この表のβの意味やデータ分割の詳細は分からない。
著者らの表では、映画→音楽のβ20%でMAEはMuSiCが0.6636、CATNが0.7289。一方、書籍→音楽のβ80%ではNDCGがMuSiCの0.8546に対しCATNは0.8616だった。全比較手法を上回るという概要の記述は、少なくともこの表の一条件とは一致しない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:映画の利用履歴はあるが音楽の履歴がない会員に、音楽作品を薦める。入力には映画側の会員レビューと評価値、音楽作品の画像と説明文、音楽側だけの会員のレビュー、両分野を利用する会員のレビューと評価値を使う。
会員を分野間で対応付け、音楽側の特徴を推定して候補作品の予測評価値と順位を担当者に示す。必要なラベルは既存の評価値で、追加センサーは想定しない。データ利用の条件と欠損への対応は適用前に確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:映画→音楽の小規模な試験を組む。映画側のレビュー・評価値、音楽作品の画像・説明文、音楽側だけの会員のレビュー、両分野を利用する会員のレビュー・評価値を用意し、同一会員の対応付けを確認する。評価値を学習と検証のラベルに使い、追加センサーは使わない。
音楽側の履歴を隠した会員を評価対象にし、両分野を利用する人から分野間の対応を学ぶ方法を基準とする。同じ対象でMAE・RMSEとNDCGを測り、画像やレビューの欠損がある群も分けて比較する。
限界と課題
著者らは、従来法が画像などの商品情報と、推薦先だけを利用する人の情報を十分に使っていないと指摘する。一方、確認できた本文の範囲では、MuSiC自体の運用上の限界を体系的に述べた箇所はない。
編集上の検証事項は、両分野を利用する人が少ない場合、画像やレビューが欠ける場合、嗜好が変わる場合の精度である。また、書籍→音楽の表には順位指標がCATNを下回る条件がある。課題ごとに評価値の誤差と推薦順位の両方を確認したい。
出典
元のタイトル・要旨を確認する(英語)
Leveraging Multimodal Data and Side Users for Diffusion Cross-Domain Recommendation
Cross-domain recommendation (CDR) aims to address the persistent cold-start problem in Recommender Systems. Current CDR research concentrates on transferring cold-start users' information from the auxiliary domain to the target domain. However, these systems face two main issues: the underutilization of multimodal data, which hinders effective cross-domain alignment, and the neglect of side users who interact solely within the target domain, leading to inadequate learning of the target domain's vector space distribution. To address these issues, we propose a model leveraging Multimodal data and Side users for diffusion Cross-domain recommendation (MuSiC). We first employ a multimodal large language model to extract item multimodal features and leverage a large language model to uncover user features using prompt learning without fine-tuning. Secondly, we propose the cross-domain diffusion module to learn the generation of feature vectors in the target domain. This approach involves learning feature distribution from side users and understanding the patterns in cross-domain transformation through overlapping users. Subsequently, the trained diffusion module is used to generate feature vectors for cold-start users in the target domain, enabling the completion of cross-domain recommendation tasks. Finally, our experimental evaluation of the Amazon dataset confirms that MuSiC achieves state-of-the-art performance, significantly outperforming all selected baselines. Our code is available: https://anonymous.4open.science/r/MuSiC-310A/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




