アーカイブ / Computer Vision
商品画像や説明文が欠ける場合に備える時系列推薦の学習法
Sequential Modality Dropout
概要
- SMDは学習時に画像と文章を履歴単位で消し、残る情報から次の商品を予測させる。
- Scientificで文章を全て消した評価では、4モデルのHR@10保持率がSMDなしの18～94％からSMDありの56～99％になった。
- 導入時は同じデータ分割と候補集合で通常時と欠損時のHR@10を比較し、精度の得失を確認する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Sequential Modality Dropoutの仕組み
- 01商品情報と行動履歴
- 02履歴単位で情報を消す
- 03残る情報から順序を学ぶ
- 04次の商品を順位付け
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
時系列推薦は、利用者が商品を見たり選んだりした順序から、次の商品を予測する。画像と説明文も使うモデルでは、運用時にどちらかが欠けると、学習時に頼った情報を使えず順位の精度が落ちうる。
著者らが対象としたAmazonの4商品群では、画像のない商品が26～41％あった。商品台帳の欠損を前提に、情報が欠けても次の商品を予測できるよう学習することが課題になる。
手法
Sequential Modality Dropout（SMD）は、学習中に画像と文章の情報をそれぞれ確率pで消し、残った情報から次の商品を予測させる。モダリティは画像や文章という情報の種類、マスクはその種類の数値表現をゼロにする操作を指す。一つの利用履歴に含まれる全商品へ、同じマスクを適用する。
例えば文章を消した履歴では、モデルは利用可能な商品IDや画像、商品の順序を使って次の商品を予測する。著者らの加算型モデルは各情報を同じ大きさの数値表現に変換して足し、候補商品に点数を付ける。学習時には予測と実際の次の商品を照合する。画像と文章の数値表現を互いに予測させる再構成損失も、任意の追加処理として検討した。
新規性
SMDは、画像と文章の欠損を、商品ごとではなく一つの利用履歴全体に共通する条件として学習させる。画像と文章を別々の確率で消し、残る情報から次の商品を予測する点が、時系列推薦向けの設計である。
著者らは、情報を統合する箇所への同じ変更を、構造の異なる4種類の推薦モデルに適用した。画像と文章の数値表現を互いに予測する追加の学習も、基本手法とは分けて検討している。
従来手法との違い
主な比較対象は、各推薦モデルをSMDなしで学習した場合である。著者らはモデルごとに設定、最適化手法、乱数種をそろえ、学習時のマスクの有無による違いを調べた。
商品ごとに画像や文章を消す学習法も設計上の選択肢として論じている。ただし、履歴単位と商品単位のマスクを直接比べた数値は、確認できた本文の範囲では示されていない。
実験結果
著者らはAmazonのScientific、Instruments、Arts、Officeで4種類の推薦モデルを評価した。データは時系列で分け、評価では全商品を順位付けした。HR@10は正解商品が上位10件に入る割合、保持率は欠損時のHR@10を情報がそろった時の値で割った比率である。
Scientificで全商品の文章を消すと、4モデルの保持率はSMDなしの18～94％に対し、SMDありでは56～99％だった。ScientificのMM-SASRecで商品ごとに95％の確率で情報を消した試験では、5乱数種の平均で22％対61％だった。著者らは全16組のうち11組で頑健性が改善したと報告するが、その全表は本文にない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：説明文の登録が遅れる通販サイトで、閲覧・購入の順序から次に示す商品を選ぶ。学習には商品ID、画像、説明文、時系列の行動記録を用い、次に選ばれた商品を正解ラベルとして、候補商品の順位を出す。
追加のセンサーは使わず、商品ごとの画像・文章の有無を記録する。既存モデルの情報統合箇所に履歴単位のマスクを接続し、実際の欠損の偏りに合わせて評価条件を調整する。順位の改善は自社データで確かめる仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：商品ID、画像、説明文、時系列の行動記録を用意し、次に選ばれた商品を正解ラベルにする。追加のセンサーは使わず、画像・文章の有無を商品ごとに記録する。同じ時系列分割と候補集合で、既存モデルを基準にSMDあり・なしを学習する。
情報を統合する箇所に履歴単位のマスクを加え、自社の入力形式に接続する。情報がそろう場合、文章が欠ける場合、画像が欠ける場合のHR@10と保持率を測る。利用者層や商品群ごとの差も確認し、欠損時の変化と通常時の精度変化を併せて判断する。
限界と課題
著者らは、画像と文章以外の情報への拡張と、情報が欠ける場合だけでなく内容が壊れている場合への対応を今後の課題としている。追加の再構成損失は、単純な加算型モデルでは保持率を上げたが、MISSRecでは通常時の精度低下も伴った。
編集上の検証事項は、自社の商品群で欠損がどの単位に集中するか、通常時の順位精度をどこまで維持できるかである。Amazonの商品群で得た保持率を、異なる利用者行動や商品構成へそのまま当てはめる根拠はない。
出典
元のタイトル・要旨を確認する（英語）
Sequential Modality Dropout for Robust Multi-Modal Sequential Recommendation
Multi-modal sequential recommenders assume every item carries every modality, but real product catalogs often miss images or text, and a model trained on complete data loses much of its recommendation accuracy when a modality is unavailable at serving time. We propose Sequential Modality Dropout (SMD): during training, each modality stream (image and text) is independently erased with probability p for an entire user interaction history, so the model learns to predict the next item without relying on any single modality. We measure robustness by retention, the fraction of a model's full-modality accuracy (HR@10) that survives when a modality is removed at test time. Across four backbones (MM-SASRec, IISAN, MISSRec, and fMRLRec) on four Amazon domains, SMD raises text retention by 1.0 to 3.2x at essentially no cost to full-modality accuracy; under an extreme 95% per-item missing rate, it retains 61% of HR@10 versus 22% without (a 2.8x improvement). An optional cross-modal reconstruction loss further lifts retention from 90% to 98% on a simple additive backbone under severe text missingness. SMD is a four-line, architecture-agnostic change that makes multi-modal sequential recommenders robust to the missing modalities they actually encounter in deployment.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01