アーカイブ / LLM
候補間の関係と未表示候補を扱う推薦の事前順位付け手法DUET
DUET
DUETの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . The left and middle panels contrast a point-wise model, which overlooks item synergy, with a set-wise model that captures it. The right panel shows the cascading architecture, where multi-stage filtering creates severe SSB.
概要
- DUETは候補集合と利用者の行動履歴を併せて処理し、候補ごとのクリック確率を出す事前順位付け手法。
- 独立に初期化した二つのモデルが未表示候補への予測を互いの仮ラベルに使い、表示済み記録だけに依存する学習を補う。
- 著者らはRecflow、Kuaishouの運用データ、オンラインA/Bテストで評価したと報告するが、確認できた本文では改善幅を示す結果表を確認できない。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DUETの仕組み
- 01候補と行動履歴
- 02履歴・候補間を照合
- 03特徴を結合
- 04候補別クリック確率
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DUETは、大規模な推薦で候補を絞る事前順位付けを対象とする。この段階では多数の候補を短時間で評価する必要がある。軽量な二塔型モデルは計算を抑えられるが、候補を一件ずつ採点するため、候補同士の相乗・抑制関係を捉えにくい。
学習に使うクリック記録は、最終的に表示された一部の候補から得られる。一方、事前順位付けは未表示の候補も評価する。この学習時と運用時の対象の違いを、論文はサンプル選択バイアスと呼ぶ。
手法
DUETは利用者の属性、過去に接した項目の列、候補の属性、利用者と候補を組み合わせた特徴量を受け取る。二系統の線形注意で、各候補と履歴、候補同士をそれぞれ照合する。線形注意とは、関連する情報を重み付けして集める「注意」の計算順を変え、計算量を抑える方法だ。得た情報を結合し、候補ごとのクリック確率を一度に出す。
学習時には同じ構造のモデルを二つ、異なる初期状態から訓練する。表示済み候補には実際のクリック有無を、未表示候補には相手モデルの予測を仮ラベルとして使う。例えばニュースと広告が候補にある場合、両者の関係を予測に取り込む。論文の運用構成では、学習後に選んだ一方のモデルだけを配備する。
新規性
著者らの主張する新しさは、候補を個別に採点する代わりに集合で処理し、利用者の履歴との関係と候補同士の関係を併せて予測する点にある。線形注意を使い、多数の候補を扱う計算を抑える。
さらに、独立に初期化した二つのモデルが未表示候補の仮ラベルを互いに作り、表示済み候補だけから得られる教師信号を補う。
従来手法との違い
事前順位付けで使われる二塔型モデルは計算が軽い一方、候補を個別に採点するため候補間の関係を扱いにくい。DUETは候補集合を一度に入力し、履歴との照合と候補間の照合を経て、候補ごとのクリック確率を出す。
論文は、表示済みデータを補正する手法と、未表示候補に仮ラベルを付ける手法も比較対象に挙げる。DUETは後者に二つのモデルによる相互学習を用いる。確認できた本文の範囲では、各手法との性能差を示す結果表は読めない。
実験結果
著者らは公開データRecflowとKuaishouの運用データでオフライン評価し、オンラインA/Bテストも行ったと報告する。Recflowは利用者42,471人、5億2,400万サンプルを含み、利用者ごとの記録を学習・検証・テストに分けた。運用データは利用者1億4,400万人、750億サンプルと記載される。
主な評価指標はAUCと利用者単位のAUCであるUAUCで、設定の選択には検証データのAUCを使った。著者らは既存手法を上回り、オンラインの主要事業指標も改善したと述べる。ただし確認できた本文の範囲では結果表が欠けており、指標の値、改善幅、A/Bテストの条件は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:ニュースと広告を扱う推薦サービスの事前順位付けに適用する。入力は利用者の行動履歴、候補の記事・広告の属性、利用者と候補を組み合わせた特徴量とし、出力は候補ごとのクリック確率とする。
学習には、候補集合と最終的な表示の有無を追えるログ、表示された候補のクリック有無のラベルが必要だ。追加のセンサーは前提にせず、既存の候補生成と最終順位付けの間に合わせて入力を整える。記事と広告の組み合わせが実際の成果を高めるかは別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:既存の事前順位付けを基準に、同じ候補生成結果でDUETを比較する。候補集合、利用者の行動履歴、候補属性、表示の有無を追えるログと、表示済み候補のクリック有無のラベルを用意する。追加のセンサーは前提にせず、まず記録の対応関係を確認する。
自社の候補数と特徴量に合わせて入力を整え、両方式で同じ学習・評価期間を使う。AUC、UAUC、候補を絞るまでの処理時間を測り、未表示候補への予測が候補の種類によって偏らないかも調べる。オンライン比較は、このオフライン検証を踏まえて設計する。
限界と課題
著者らは、線形注意では通常の注意機構にある正規化が失われ、集計値が大きくなって学習が不安定になり得ると説明する。その対策として類似度の合計による正規化を導入する。また、二つのモデルの予測が離れすぎると仮ラベルに雑音が増えるため、予測差を抑える項を加える。
編集上の検証事項は、未表示候補の仮ラベルの妥当性、候補集合が変わる場合の精度、事前順位付けの処理時間である。確認できた本文の範囲では結果表が途中で切れており、改善幅やオンライン試験の条件は判断できない。
出典
元のタイトル・要旨を確認する(英語)
DUET: Dual Model Co-Training for Entire Space CTR Prediction
The pre-ranking stage plays a pivotal role in large-scale recommender systems but faces an intrinsic trade-off between model expressiveness and computational efficiency. Owing to the massive candidate pool and strict latency constraints, industry systems often rely on lightweight two-tower architectures, which are computationally efficient yet limited in estimation capability. As a result, they struggle to capture the complex synergistic and suppressive relationships among candidate items, which are essential for producing contextually coherent and diverse recommendation lists. Moreover, this simplicity further amplifies the Sample Selection Bias (SSB) problem, as coarse-grained models trained on biased exposure data must generalize to a much larger candidate space with distinct distributions. To address these issues, we propose \textbf{DUET} (\textbf{DU}al Model Co-Training for \textbf{E}ntire Space C\textbf{T}R Prediction), a set-wise pre-ranking framework that achieves expressive modeling under tight computational budgets. Instead of scoring items independently, DUET performs set-level prediction over the entire candidate subset in a single forward pass, enabling information-aware interactions among candidates while amortizing the computational cost across the set. Moreover, a dual model co-training mechanism extends supervision to unexposed items via mutual pseudo-label refinement, effectively mitigating SSB. Validated through extensive offline experiments and online A/B testing, DUET consistently outperforms state-of-the-art baselines and achieves improvements across multiple core business metrics. At present, DUET has been fully deployed in Kuaishou and Kuaishou Lite Apps, serving the main traffic for hundreds of millions of users.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




