アーカイブ / Generative AI
新着商品のクリック予測を、生成モデル間の不確かさから改善するCREU
CREU
概要
- CREUは複数のCVAEで新着商品の数値表現を作り、モデル間の出力分布から推定した不確かさを抑えて学習する。
- MovieLens-1Mの履歴が最も少ない段階では、DeepFMを使うCREUのACCは74.36%、AUCは63.85%だった。
- 結果表にはCREUが最高値でない条件もあり、本文の「全条件で優位」という記述とは一致しない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CREUの仕組み
- 01商品属性・出現頻度
- 02複数CVAEで表現生成
- 03分布差で学習
- 04表現を重み付き統合
- 05クリック確率
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
新着商品はクリックなどの利用履歴が少なく、利用者が反応するかを予測しにくい。この問題を推薦分野ではコールドスタートと呼び、商品を出した直後の表示判断に関わる。
従来の対策には、商品属性などから商品を表す数値を補う方法がある。著者らは、集めた情報が学習に十分使われているかにも着目し、その手掛かりとしてモデル側の知識不足による不確かさを扱う。
手法
CREUは商品属性を複数の条件付き変分オートエンコーダー（CVAE）に入力し、商品の数値表現を生成する。CVAEは、入力に応じて数値表現を作る生成モデルで、各モデルは異なる初期値から学習する。デコーダーには商品の出現頻度も与え、商品IDから学んだ表現との分布差を小さくする。
次に、モデル同士の出力分布の距離から「認識上の不確かさ」を推定し、学習で抑える。これは学習によって減らし得るモデル側の迷いを指す。距離の計算にはSinkhornダイバージェンスを使い、生成した表現を重み付きで統合する。最後に利用者・商品に関する特徴とともにDeepFMなどの予測器へ渡し、クリック確率を出す。
新規性
CREUは、新着商品の情報を使って表現を作るだけでなく、複数の生成モデルの出力分布から、学習で減らし得る不確かさを推定して抑える。著者らは、これを既存の学習情報の活用を改善する方法として提案する。
分布間の距離には、従来のPaiDEで使われる尺度に代えてSinkhornダイバージェンスを採用した。著者らは、初期値の異なるモデルの出力分布が重なりにくいことを選択の理由に挙げている。
従来手法との違い
比較対象のCVARは、商品情報に加え、過去のデータや新たに得られた利用履歴を使って新着商品のID表現を補う。CREUはCVARを基にした生成モデルを複数使い、モデル間の分布差も学習の対象にする。
実験ではDropoutNet、Meta-E、MWUF、CVARを新着商品向けの比較手法とし、クリック予測器にDeepFMとWide&Deepを用いた。結果表にはCREUより高い値を示す比較手法もあり、優位性はデータセット、予測器、段階、指標ごとに確認する必要がある。
実験結果
著者らはMovieLens-1MとTaobao Display Ad Clickでオフライン評価した。商品を出現頻度に基づいて既存・新規に分け、新規商品には履歴量が異なる段階を設けた。指標は正解率ACCと、予測による識別力を測るAUCである。
MovieLens-1Mの履歴が最も少ない段階では、DeepFMを使うCREUのACCは74.36%、AUCは63.85%で、CVARの74.19%、63.56%を上回った。ただしTaobaoのWide&Deepの同段階では、CREUのACCは60.79、AUCは13.79で、それぞれCREUより高い比較手法がある。本文の一律の優位という記述と結果表は一致しない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：通販サイトで新着商品の表示候補を評価する際、利用者と商品ごとのクリック確率をCREUで推定し、既存の順位付けと並べて確認する。入力は商品属性、出現頻度、利用者と商品に関する特徴で、出力は各表示候補のクリック確率とする。
学習には既存商品のIDと属性、表示・クリック履歴、クリック有無のラベルが必要になる。新着商品の属性を学習時の項目に合わせ、まず表示順位を変えずに予測を記録する。この案ではセンサー入力を使わず、順位改善は検証すべき仮説とする。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：既存商品のID・属性・出現頻度、利用者と商品の特徴、表示・クリック履歴から、クリック有無のラベルを整える。新着商品を分けた検証期間を設け、予測時に使える属性と欠損率を確認する。センサー入力はこの案では必要としない。
同じ学習・評価条件でCVARとCREUをDeepFMに接続し、新着商品群のACCとAUCを比較する。属性欠損別の値と予測に要する時間も記録する。既存の順位付けを変える前に、運用中の予測との差を確認する。
限界と課題
著者らが対象とするのは、新着商品に利用履歴が乏しい状況である。また、初期値の異なる生成モデルの出力分布が重なりにくいことを、距離尺度を選ぶ理由としている。一方、本文は全条件で比較手法を上回ると述べるが、掲載表には合致しない値がある。
編集上の検証事項は、運用時に必要な商品属性が揃うか、商品構成が変わっても効果が続くか、複数モデルを使う負担に見合うかである。掲載されたオフラインのクリック予測結果だけでは、表示順位を変えた場合の成果までは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Harnessing Light for Cold-Start Recommendations: Leveraging Epistemic Uncertainty to Enhance Performance in User-Item Interactions
Most recent paradigms of generative model-based recommendation still face challenges related to the cold-start problem. Existing models addressing cold item recommendations mainly focus on acquiring more knowledge to enrich embeddings or model inputs. However, many models do not assess the efficiency with which they utilize the available training knowledge, leading to the extraction of significant knowledge that is not fully used, thus limiting improvements in cold-start performance. To address this, we introduce the concept of epistemic uncertainty to indirectly define how efficiently a model uses the training knowledge. Since epistemic uncertainty represents the reducible part of the total uncertainty, we can optimize the recommendation model further based on epistemic uncertainty to improve its performance. To this end, we propose a Cold-Start Recommendation based on Epistemic Uncertainty (CREU) framework. Additionally, CREU is inspired by Pairwise-Distance Estimators (PaiDEs) to efficiently and accurately measure epistemic uncertainty by evaluating the mutual information between model outputs and weights in high-dimensional spaces. The proposed method is evaluated through extensive offline experiments on public datasets, which further demonstrate the advantages and robustness of CREU. The source code is available at https://github.com/EsiksonX/CREU.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01