アーカイブ / AI Agent
広告候補検索の二塔モデルを補強するCS3：塔間の情報と後段モデルの表現を再利用
CS3 (Capability Synergy)
CS3 (Capability Synergy)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . An overview of the proposed CS3 framework.
概要
- CS3は、各塔の特徴補正、塔間の表現交換、後段の順位付けモデルの中間表現の再利用を組み合わせる。
- 著者らは三つの公開データで四種類の二塔モデルに適用し、テスト集合のAUCとLogLossを報告した。
- オンライン試験の場面Aでは基準比で広告収益が8.356％増え、QPSは0.589％低下した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CS3 (Capability Synergy)の仕組み
- 01利用者・広告の特徴
- 02保存表現を読み込む
- 03各塔で特徴を補正
- 04類似度で候補検索
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CS3は、大量の広告などから候補を選ぶ二塔モデルを補強する手法である。二塔モデルは利用者と商品を別々に数値表現へ変えるため、商品側の計算結果を保存して検索に使える。しかし両者の表現が十分に対応しなければ、後段で詳しく順位を付ける前に候補を取り逃がし得る。
新しい反応を継続的に学習する運用では、利用者や商品の状態も変わる。著者らは、検索の応答時間を抑えながら、各塔の表現、塔同士の対応、後段モデルとの情報共有を改善することを課題とした。
手法
CS3では、利用者側と商品側の元の特徴に、前回までに保存した相手側の表現と後段モデルの表現を加える。各塔のCASは、層の出力から入力特徴ごとの重みを求め、重み付けした入力を同じ層にもう一度通す。最後に二つの数値表現の内積、つまり対応する値を掛けて足した類似度で候補を探す。
反応ラベルが正の組み合わせでは、CTSが相手側の塔の表現を利用者・商品ごとに更新する。CMSは、後段の順位付けモデルが作った組み合わせの中間表現を、ラベルの正負にかかわらず双方の保存値へ反映する。更新には指数移動平均、すなわち新しい値と保存済みの値を一定の割合で混ぜる方法を使い、次回の入力に戻す。
新規性
CS3は、二塔モデルを三つの経路から補強する。CASが各塔の特徴を補正し、CTSが好反応のあった相手側の表現を渡し、CMSが後段の順位付けモデルの中間表現を検索に戻す。
CMSの表現は利用者・商品ごとに保存され、次の検索時の入力になる。著者らは、後段モデルと検索モデルを別々のデータ系列で学習する構成も示している。
従来手法との違い
基準となる二塔モデルは、利用者と商品を別々のネットワークで数値表現に変え、内積などの類似度で候補を探す。商品側の表現を事前計算できる一方、類似度の計算前に両者の情報を直接交換しない。
著者らはDSSM、IntTower、IHM-DAT、RCGそれぞれにCS3を追加して比較した。検索後に組み合わせを詳しく調べる手法や知識蒸留にも言及するが、確認できた本文の範囲では、それらすべてとの速度比較は示されていない。
実験結果
著者らはTaobaoAd、KuaiRand、RecSys2017のテスト集合で、四種類の二塔モデルを評価した。AUCは予測の順位付けを測る指標、LogLossは予測確率の誤差を測る指標である。五つの乱数初期値による平均で、TaobaoAdのDSSMはAUCが0.6194からCS3追加後に0.6855、LogLossが0.2289から0.2198になった。
オンラインA/B試験は三つの広告配信場面で、それぞれ実トラフィックの10％を使い、7日超実施した。著者らの報告では、場面Aの基準モデル比で広告収益が8.356％、日次利用顧客数を示すDACが0.468％増え、QPSは0.589％低下した。場面BとCでも収益増とQPS低下が報告されている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：広告配信で、後段の順位付けモデルへ渡す広告候補の検索にCS3を試す。入力は利用者と広告の特徴、表示後の反応記録、既存の順位付けモデルの中間表現とし、出力は広告候補の一覧にする。
学習には、利用者と広告を対応付けた過去ログと、好反応の有無を示すラベルが要る。追加センサーは想定しない。既存モデルの表現をどこから取得し、利用者・広告ごとの保存値をいつ更新するかは、配信系に合わせて設計する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：既存の二塔検索モデルを基準に、利用者・広告の特徴と表示後の反応ラベルを含む過去ログでCS3を試す。後段の順位付けモデルから中間表現を取得し、CTSは正のラベル、CMSは正負双方の記録で更新する。追加センサーは想定しない。
同じデータ分割で基準モデルとCS3のAUC、LogLossを比べ、保存表現の更新遅れも測る。次に小規模な配信試験で収益、DAC、QPS、応答時間を確認する。保存値の取得方法と更新周期は対象の配信系に合わせて調整し、改善するかどうかを検証する。
限界と課題
著者らのオンライン試験では、CS3導入時の処理件数を示すQPSが三つの場面すべてで低下した。主因はCASによる利用者側の追加計算と説明している。報告された収益増と併せて、処理能力も評価する必要がある。
編集上の検証事項は、反応ラベルが届くまでの遅れ、保存した表現の鮮度、別のデータ系列で学習した後段モデルとの整合性である。確認できた本文の範囲では、異なる広告環境でも同じ効果や応答時間になるかは判断できない。
出典
元のタイトル・要旨を確認する（英語）
CS3: Efficient Online Capability Synergy for Two-Tower Recommendation
To balance effectiveness and efficiency in recommender systems, multi-stage pipelines commonly use lightweight two-tower models for large-scale candidate retrieval. However, the isolated two-tower architecture restricts representation capacity, embedding-space alignment, and cross-feature interactions. Existing solutions such as late interaction and knowledge distillation can mitigate these issues, but often increase latency or are difficult to deploy in online learning settings. We propose Capability Synergy (CS3), an efficient online framework that strengthens two-tower retrievers while preserving real-time constraints. CS3 introduces three mechanisms: (1) Cycle-Adaptive Structure for self-revision via adaptive feature denoising within each tower; (2) Cross-Tower Synchronization to improve alignment through lightweight mutual awareness between towers; and (3) Cascade-Model Sharing to enhance cross-stage consistency by reusing knowledge from downstream models. CS3 is plug-and-play with diverse two-tower backbones and compatible with online learning. Experiments on three public datasets show consistent gains over strong baselines, and deployment in a largescale advertising system yields up to 8.36% revenue improvement across three scenarios while maintaining ms-level latency.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01