表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

利用履歴から商品画像を改変し、推薦順位を動かす攻撃

AUV-Fusion

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

AUV-Fusionの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: Illustration of how a Visual-Aware Recommendation System faces different vulnerabilities. Shilling attacks require numerous fake user profiles, whereas item representation attacks operate directly on item features, incurring lower costs and potentially higher stealth.

出典:AUV-Fusion / arXiv ↗

概要

  • AUV-Fusionは、実際の利用履歴と商品画像の関係から利用者の好みを表し、対象商品の画像改変に使う攻撃である。
  • 偽の利用者履歴を追加せず、履歴の少ない商品の上位推薦への露出を増やすことを狙う。
  • 著者らは二つの実データでの評価を説明するが、確認できた本文の範囲には結果表の数値がない。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、AUV-Fusionの仕組み

左から右へ読む
  1. 01利用履歴と商品画像
  2. 02嗜好表現を統合
  3. 03画像の内部表現を改変
  4. 04改変商品画像

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

画像を使う推薦システムは、利用者の行動履歴と商品画像の特徴から商品を並べる。履歴が少ない商品でも画像を判断材料にできるが、画像を書き換えられると推薦順位が変わる恐れがある。

AUV-Fusionは、履歴の少ない対象商品の露出を増やすため、利用者の好みを手掛かりに商品画像を改変する攻撃だ。画像を登録・審査する事業者にとって、推薦結果の信頼性を確かめる際の検討対象になる。

手法

入力は観測できる利用者と商品の履歴、履歴に現れる商品の画像、改変対象の元画像である。利用者と商品を点と線で結ぶグラフで、複数のつながりをたどって行動の傾向を集める。同時に、画像の特徴が近い商品同士を結び、両方の情報を合わせて利用者の好みを数値で表す。

その数値を多層パーセプトロンという変換用のネットワークで改変量にする。対象画像をVAEという画像圧縮の仕組みで内部表現に変え、拡散モデルがノイズから画像を戻す過程に改変量を加える。元画像との意味や形の近さと、利用者の好みとの一致を学習時に考慮し、改変画像を出力する。例えば衣料品の画像なら、観測した購入傾向を改変の手掛かりにする。

新規性

著者らが新規性として主張するのは、実際の利用者と商品の関係を画像の改変に結び付ける点だ。利用者の行動と商品画像の類似性を合わせて好みを表し、改変の方向を決める。

偽の利用者履歴を登録せず、対象商品の画像を変更する。拡散モデル内で改変する仕組みにより、元画像との見た目の近さも保とうとする設計である。

従来手法との違い

比較対象には、偽の利用者履歴で推薦を操作する攻撃と、商品画像を改変するINSA、EXPA、SPAFが挙がる。著者らは、前者には偽の履歴を作る負担と検出の懸念があり、従来の画像攻撃は利用者の好みを十分に使えないと説明する。

AUV-Fusionは観測できる実際の履歴を画像改変に使う。INSAとEXPAの比較設定には、画素値0~255に対する改変幅32と学習100エポックが記されるが、確認できた本文の範囲では手法別の成績差は示されていない。

実験結果

著者らはAmazon Men’s ClothingとTradesy.comを使ったと記す。前者は利用者34,244人、商品110,636点、履歴254,870件、後者は33,864人、326,393点、655,409件である。数値評価を反応の有無に変え、学習とテストを9対1に分けたと説明する。

履歴が最も少ない10商品から対象を選び、上位k件の推薦に対象が入る利用者の割合「HR@k」を増やしつつ、画像の見た目の変化を抑えるのが目的だ。著者らは複数の推薦方式で露出増と見た目の自然さを報告するが、確認できた本文の範囲では結果表の数値や方式別の条件は確認できない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:商品画像を使う推薦システムの公開前監査に使う。利用許可を得たクリック・購入履歴と商品画像、改変対象として選ぶ履歴の少ない商品の指定を入力し、検証環境でのみ生成画像へ差し替える。

出力は改変画像と、差し替え前後の推薦順位の記録とする。履歴を反応の有無を示す二値データに整え、対象商品の画像形式を検証環境に合わせる。追加のセンサーは必要としない想定だが、監査で露出が変わるかは実測が要る。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:利用許可のあるクリック・購入履歴、商品画像、履歴の少ない対象商品を示す指定を用意する。履歴を反応の有無のラベルに整え、画像と商品IDを対応付ける。既存の画像利用型推薦モデルを検証環境に複製し、その入力形式に合わせて画像を差し替える。追加のセンサーは想定しない。

対象商品ごとに元画像での推薦結果を基準とし、改変画像を入れた結果を比べる。上位k件に入る利用者の割合、順位、元画像との見た目の差、画像審査での検出件数を記録する。利用できる履歴の割合も変え、監査条件への依存を調べる。

限界と課題

著者らの攻撃設定では、推薦モデルや画像特徴抽出器の内部を知らない一方、一部利用者の履歴と関連する商品画像を参照し、対象商品の画像を書き換えられる。この情報と権限を得られない場合の成績は、示された設定からは判断できない。

編集上の検証事項は、利用できる履歴が少ない場合の成績、人が改変画像に気付くか、運用中の画像審査で検出できるかである。確認できた本文の範囲では、これらの実測結果や著者らが明示した限界の一覧は確認できない。

研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

AUV-Fusion: Cross-Modal Adversarial Fusion of User Interactions and Visual Perturbations Against VARS

Modern Visual-Aware Recommender Systems (VARS) exploit the integration of user interaction data and visual features to deliver personalized recommendations with high precision. However, their robustness against adversarial attacks remains largely underexplored, posing significant risks to system reliability and security. Existing attack strategies suffer from notable limitations: shilling attacks are costly and detectable, and visual-only perturbations often fail to align with user preferences. To address these challenges, we propose AUV-Fusion, a cross-modal adversarial attack framework that adopts high-order user preference modeling and cross-modal adversary generation. Specifically, we obtain robust user embeddings through multi-hop user-item interactions and transform them via an MLP into semantically aligned perturbations. These perturbations are injected onto the latent space of a pre-trained VAE within the diffusion model. By synergistically integrating genuine user interaction data with visually plausible perturbations, AUV-Fusion eliminates the need for injecting fake user profiles and effectively mitigates the challenge of insufficient user preference extraction inherent in traditional visual-only attacks. Comprehensive evaluations on diverse VARS architectures and real-world datasets demonstrate that AUV-Fusion significantly enhances the exposure of target (cold-start) items compared to conventional baseline methods. Moreover, AUV-Fusion maintains exceptional stealth under rigorous scrutiny.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01