表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

商品画像と説明文が利用履歴と食い違うとき、推薦への取り込み方を調整するOrthoRec

OrthoRec

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

OrthoRecの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1. Illustration of bottlenecks in current multimodal recommendation scenarios. (a) Impact of modality noise on user intent: blindly absorbing deceptive visual clickbaits distorts the true collaborative preference, leading to inaccurate recommendations. (b) Limitation of traditional modality fusion: softmax-based attention forces a zero-sum competition, heavily suppressing crucial textual cues when visual features are prominent.

出典:OrthoRec / arXiv ↗

概要

  • 利用履歴から作る基準に照らし、商品画像と説明文の特徴の向きと取り込み量を調整する。
  • 画像と文章の重みを独立に決め、履歴と食い違う特徴を学習時に強く近づけることも抑える。
  • BabyのRecall@20は0.1057で、同指標で最良の比較対象FREEDOMの0.0992を上回った。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、OrthoRecの仕組み

左から右へ読む
  1. 01接点履歴・商品特徴
  2. 02履歴の基準を作成
  3. 03特徴の向きを調整
  4. 04画像と文章を融合
  5. 05商品の推薦順位

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

OrthoRecは、商品画像や説明文を利用履歴と照らしてから推薦に使う。利用履歴だけでは手掛かりの乏しい商品にも画像と文章は役立ち得るが、その内容が実際の選択傾向と食い違う場合がある。

著者は、目を引く画像や誇張された説明を例に挙げる。こうした特徴をそのまま利用履歴と混ぜると、利用者や商品の表現がずれ、推薦順位に影響するおそれがある。

手法

利用者と商品の過去の接点から、まず画像・文章を使わずに各商品の基準となる数値の並びを作る。論文ではこれに、複数の関係をまとめて表すハイパーグラフ由来の表現も加える。画像と文章は事前学習済みモデルで数値化し、基準と同じ空間に写して、基準に沿う成分と直交する成分に分ける。

基準との向きの近さから食い違いを測り、直交成分を調整してから数値の並びの長さを元に戻す。次に画像と文章それぞれの取り込み量を独立に決め、利用者ごとの推薦得点を出す。例えば画像が履歴と合わない商品では、その向きや寄与を調整する設計だ。学習時には食い違いの強い画像・文章を近づける重みも下げる。

新規性

OrthoRecは、画像と文章の特徴を利用履歴に基づく基準に沿う成分と直交する成分に分ける。直交成分を食い違いの度合いに応じて調整した後、特徴ベクトルの長さを元に戻す。

さらに、画像と文章の融合重みを独立に決める。学習時には、履歴との食い違いが強い商品の画像と文章を無理に近づける損失の重みを下げる。

従来手法との違い

比較対象には、利用履歴を使うLightGCN、画像や文章も使うLATTICEとLGMRec、対比学習を用いるBM3などが含まれる。対比学習は、対応する特徴を近づけて学ぶ方法である。

著者は、特徴を早期に混ぜる方法や一律に近づける方法では、履歴と食い違う情報が入り得ると指摘する。OrthoRecは融合前に特徴の向きを調整し、画像の重みが増えると文章の重みが減るsoftmax型の制約も避ける。

実験結果

著者はAmazonの商品レビューに由来するBaby、Sports、Clothingの3データセットで評価した。接点履歴を訓練・検証・テストに8対1対1で分け、上位10件・20件の再現率(正解を拾えた割合)と、正解の順位も考慮するNDCGをテスト利用者の平均で測った。

表2では、BabyのRecall@20がOrthoRecで0.1057、同指標で最良の比較対象FREEDOMで0.0992だった。ClothingのRecall@10は0.0658対0.0628だった。著者はノイズ付与時と商品履歴が少ない場合の頑健性向上も述べるが、確認できた本文の範囲では、その試験条件と数値は確認できない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:通販サイトで、商品画像や説明文が実際の選択傾向と食い違う商品を含めて推薦順位を試算する。必要な学習データは利用者と商品の過去の接点、各商品の画像と説明文で、接点の有無を学習用の正例・比較例にする。追加のセンサーは想定しない。

画像と文章を特徴量に変換し、サイトの商品群で推薦モデルを学習する。出力は利用者ごとの商品順位とする。食い違いが大きく順位も変わった商品は担当者が商品ページと接点履歴を確認し、食い違いだけで誤表示とは判定しない。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:対象商品の画像、説明文、利用者との過去の接点を集め、接点の有無を学習と評価のラベルにする。画像と文章を特徴量に変換して対象サイトの商品群に合わせて学習する。追加センサーは不要という想定だが、既存データに画像や説明文の欠落がないか確認する。

同じデータ分割で、利用履歴だけの推薦を基準にOrthoRec型と比較する。上位10件・20件の再現率とNDCGを測り、履歴の少ない商品群も別に集計する。食い違いが大きく順位が変わった商品は、担当者の確認結果を記録して解釈を確かめる。

限界と課題

著者は、画像・文章と利用履歴の食い違いや、融合時に重みが競合する問題を挙げる。頑健性の向上も報告するが、確認できた本文の範囲では、ノイズ付与や商品履歴の少なさを調べた試験の条件・数値は示されていない。

編集上の検証事項は、履歴の少ない商品で基準が安定するか、履歴と異なる特徴に有益な情報がある場合も抑えてしまわないか、である。また、基準にはID由来の表現に加えてハイパーグラフ由来の表現も足すと記されるが、後者の入力の詳細はこの範囲だけでは確定できない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Beyond Modality Harmony: Orthogonal Purification and Topology-Guided MoE for Conflict-Aware Multimodal Recommendation

Multimodal Recommender Systems (MRSs) typically rely on a flawed "modality harmony" assumption, presuming that multimodal features are inherently beneficial and strictly aligned with users' collaborative interaction patterns. However, modality-topology conflicts are ubiquitous in real-world scenarios due to deceptive visual clickbaits and mismatched semantics. Blindly integrating these noisy modalities inevitably pollutes the pristine collaborative space, causing severe representation distortion. To address this, we propose Orthogonal purification and topology-guided MoE for conflict-aware multimodal Recommendation (OrthoRec). At its core, OrthoRec introduces Collaborative-Guided Orthogonal Purification (CGOP), which geometrically decouples multimodal features into directions parallel and orthogonal to a pure collaborative anchor. By adaptively truncating the orthogonal noise with an energy-preserving normalization, CGOP rectifies deceptive semantic directions while preserving the modality's intrinsic representation capacity. Furthermore, we design a Topology-Aware Routing Mixture-of-Experts (TAR-MoE). Guided by the collaborative topology, TAR-MoE employs decoupled sigmoid gating to break the zero-sum bottleneck of traditional softmax attention, autonomously determining the injection scale for each purified modality. Finally, a safe-SSL objective is introduced to dynamically penalize the forced contrastive alignment of contradictory pairs. Experiments on three real-world Amazon datasets show that OrthoRec consistently outperforms competitive recent baselines and exhibits improved robustness under modality noise and item sparsity.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01