アーカイブ / AI Agent
行動履歴が少ない利用者の関心推定を集団の傾向で補うGPSVI
Group Prior Sampler Variational Inference（GPSVI）
Group Prior Sampler Variational Inference（GPSVI）の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 . Sensitivity of behavior sequence features, visualized by two vectors of size 128.
概要
- GPSVIは、履歴から推定した個人の関心を、属性群と候補から求めた集団の関心で、不確実性に応じて補正する。
- 著者らの産業データでは、履歴が少ない群のAUCはTransの0.7907に対しGPSVIが0.7974だった。
- 著者らは2か月のオンラインA/Bテストで、Trans比のCTR増加を全体で0.306％、履歴が少ない群で0.659％と報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Group Prior Sampler Variational Inference（GPSVI）の仕組み
- 01利用者・候補・履歴
- 02個人の関心と不確実性
- 03集団傾向で補正
- 04表現を変換
- 05クリック確率
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
GPSVIは、行動履歴が少ない利用者の関心を推定し、クリック率予測に用いる手法である。クリック率予測は、候補を表示したときにクリックされる確率を見積もい、推薦の順位付けなどに使う。
従来の注意機構は、候補に関連する過去の行動を重視する。履歴が数件しかない利用者では、その手掛かり自体が乏しい。著者らは、こうした利用者について、履歴だけに基づく関心推定の不足を課題に挙げている。
手法
まず、候補に関連する過去の行動を重み付けして個人の関心を表す数値列を作り、その推定の不確実性も求める。例えば候補動画への反応を予測する場合、短い視聴履歴から得た関心ほど、集団の傾向による補正を強く受けるようにする構成である。
次に、年齢・性別・地域などの大まかな属性と候補から集団の関心を作り、確率的な関心の推定に取り入れる。変分推論とは、直接観測できない関心を確率分布で近似する方法である。得られた表現を、元に戻せる変換である体積保存フローで変え、クリック確率の予測に使う。
新規性
GPSVIの特徴は、候補に関連する過去の行動から得た個人の関心に、同じ属性群と候補から求めた集団の関心を取り入れる点にある。補正量は、個人の関心推定に伴う不確実性に応じて変える。
著者らはさらに、体積保存フローで関心の表現を変換する。履歴が豊富な利用者では従来の注意機構に近い動作を目指し、履歴が少ない利用者への補正と両立させる構成である。
従来手法との違い
比較対象は、過去の行動を均等に集約するDNN、候補との関連度で重み付けするDIN、行動の順序を扱うTransformer（Trans）である。GPSVIはTransを基盤に、関心の不確実性と集団の傾向を組み込む。
著者らの産業データでは、履歴が少ない群のAUCはTransの0.7907に対しGPSVIが0.7974、履歴が多い群では0.8031に対し0.8034だった。差の大きさは群によって異なり、この数値は記載されたデータと評価条件に限る。
実験結果
著者らは、推薦システムの産業データとAmazonデータで評価した。産業データは12日分のログを学習に、翌日の記録をテストに用いる。Amazonでの課題は、過去の行動から対象商品へのレビュー投稿を予測することだった。履歴数の上位25％を履歴が多い群とし、各モデルを5回学習・評価した平均AUCを報告する。AUCは正例を負例より高く順位付けできる度合いを表す。
履歴が少ない群のAUCは、産業データでTransの0.7907に対しGPSVIが0.7974、Amazonで0.8623に対し0.8668だった。また著者らは、Transと比較した2か月のオンラインA/Bテストで、CTRが全体で0.306％、履歴が少ない群で0.659％増えたと報告している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：短い視聴履歴しかない利用者への動画推薦で、候補ごとのクリック確率を順位付けに使う。入力は利用者の視聴・クリック履歴、年齢層などの属性、候補動画の情報、表示時の状況とし、出力は候補ごとの予測確率とする。
学習には自社の表示・クリック記録とクリック有無のラベルが要る。追加のセンサーは想定しない。属性から作る集団と動画情報の表現を自社データに合わせて定め、既存の推薦処理に接続する。順位付けへの効果は導入先で検証する仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：自社の表示・クリック記録、利用者の行動履歴と属性、候補の情報、表示時の状況をそろえ、クリック有無を正解ラベルにする。追加のセンサーは使わない。属性による集団分けと候補情報の表現を定め、GPSVIを自社データに合わせて学習する。
既存のTransformerを比較基準に、同じ学習期間と評価期間で全体および履歴数別のAUCを測る。属性欠損時の扱いを決め、集団ごとの誤差と予測時間も記録する。オンライン試験を行う場合は、CTRに加え、履歴が少ない群の人数と結果を確認する。
限界と課題
著者らは、履歴が少ない利用者では過去の行動だけから関心を捉えにくいこと、単純なガウス分布による近似では関心の分布を十分に表せない可能性を課題として述べる。これらはGPSVIを設計した理由であり、導入先で解消される保証ではない。
編集上の検証事項は、属性による集団分けの妥当性、属性欠損時の予測、集団ごとの誤差、推論時間、利用者の行動変化への対応である。確認できた本文の範囲では、こうした条件を変えた導入先での結果は示されていない。
出典
元のタイトル・要旨を確認する（英語）
Incorporating Group Prior into Variational Inference for Tail-User Behavior Modeling in CTR Prediction
User behavior modeling -- which aims to extract user interests from behavioral data -- has shown great power in Click-through rate (CTR) prediction, a key component in recommendation systems. Recently, attention-based algorithms have become a promising direction, as attention mechanisms emphasize the relevant interactions from rich behaviors. However, the methods struggle to capture the preferences of tail users with sparse interaction histories. To address the problem, we propose a novel variational inference approach, namely Group Prior Sampler Variational Inference (GPSVI), which introduces group preferences as priors to refine latent user interests for tail users. In GPSVI, the extent of adjustments depends on the estimated uncertainty of individual preference modeling. In addition, We further enhance the expressive power of variational inference by a volume-preserving flow. An appealing property of the GPSVI method is its ability to revert to traditional attention for head users with rich behavioral data while consistently enhancing performance for long-tail users with sparse behaviors. Rigorous analysis and extensive experiments demonstrate that GPSVI consistently improves the performance of tail users. Moreover, online A/B testing on a large-scale real-world recommender system further confirms the effectiveness of our proposed approach.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01