アーカイブ / LLM
候補商品に合わせて履歴の参照位置を変えるクリック率予測手法LENS
LENS
LENSの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3 . AUC gain over DIN as a function of item density. Latent-query models show increasing advantage as density decreases from KuaiRec ( ∼ \sim 1000) to KuaiRand ( ∼ \sim 1.1).
概要
- LENSは潜在クエリ型のクリック率予測モデルに、候補商品別のクエリ調整と履歴位置の補正を加える。
- 著者は3種類の基盤モデルと4データセットの計12条件で、QueryPosとLENSを組み合わせた総合的な利得の推定値がすべて正だったと報告した。
- 著者の検証では、商品当たりの学習例が少ない条件で、候補商品の表現に履歴の平均表現を加える調整が選ばれた。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LENSの仕組み
- 01候補と行動履歴
- 02潜在クエリ生成
- 03候補別の調整
- 04位置を考慮した参照
- 05クリック確率
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LENSは、候補商品に合わせて利用者の行動履歴の読み方を変え、クリック率を予測する手法である。同じ履歴でも、評価する候補が違えば参照したい行動や位置は変わりうる。その違いを履歴の要約に反映することが課題となる。
候補と履歴中の各商品を直接照合する方式は、学習例の少ない商品の表現に頼る。一方、少数の要約用表現を介する方式では、候補固有の制御が弱まると著者は説明する。論文は後者の方式に候補別の制御を加える。
手法
入力は候補商品、時系列の行動履歴、利用可能な属性である。まず属性から少数の潜在クエリを作る。潜在クエリは、履歴から情報を集めるための学習可能な数値表現だ。例えば一つの広告候補を評価する際、複数のクエリが履歴の異なる部分を参照し、集めた情報からクリック確率を出す。
TCQGは候補に応じて各クエリの働きを調整する。履歴を参照する際、QueryPosがクエリごとの位置の基準を加え、TCPBが候補に応じた補正を重ねる。学習例が少ない商品では、候補の埋め込み表現に、履歴中の有効な商品の表現を平均した値を連結して調整に使う。
新規性
LENSは、候補商品に応じて潜在クエリの働きを調整するTCQGと、履歴の参照位置を調整するTCPBを、別々の操作として加える。QueryPosは候補に依存しない、クエリごとの位置の基準を担う。
両モジュールの補正は学習開始時にゼロとなり、最初はQueryPosを加えた基盤モデルと同じ動作をする。位置の基準と候補別の調整を段階的に検証できる設計である。
従来手法との違い
DINは候補商品と履歴中の各商品を直接照合する。著者は、学習例の少ない商品では、この照合に使う埋め込み表現が不安定になりやすいと説明する。埋め込み表現は、商品IDなどを計算用の数値列に変えたものだ。
HyFormer、MixFormer、OneTransは、少数の潜在クエリを通して履歴を読む。LENSはそれらにQueryPosと候補別の調整を追加する。TaobaoAdではMixFormerとOneTransの入力が主な行動系列と候補に限られるため、各モデルの比較を同一入力条件での優劣と読み替えることはできない。
実験結果
著者はKuaiRec、TaobaoAd、TAAC、KuaiRandで検証した。商品当たりの学習例は順に約1,000、59、22、1.1件である。主指標のAUCは、クリック例の予測値が非クリック例より高くなる傾向を測る。
設定探索には乱数種42を使い、選んだ比較を42、123、456の3設定で確認した。著者によれば、HyFormer、MixFormer、OneTransにQueryPosとLENSを組み合わせた計12条件すべてで、総合的な利得の推定値は正だった。確認できた本文の範囲では結果表が途中で切れており、各条件のAUC値や改善幅は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：商品推薦枠で、表示候補ごとのクリック確率を推定し、掲載順位を検討する材料にする。入力は候補商品ID、時系列の行動履歴、利用可能な商品・利用者・表示文脈の属性とし、出力は候補ごとの予測値にする。
学習には、過去の表示とクリックを対応付けた二値ラベル付き記録が要る。利用可能な履歴に非クリックの表示を含めるなら、行動種別も記録する。商品ごとの学習例数を調べたうえで、候補の表現だけを調整に使うか、履歴の平均表現も加えるかを選ぶ。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：既存のクリック率予測器を基準に、同じ期間の候補商品、時系列の行動履歴、利用可能な属性、クリックの二値ラベルをそろえる。表示だけで終わった行動を履歴に含める場合は種別を付け、予測時点より後の行動が入力に混ざらないよう点検する。
同じ入力条件で潜在クエリ型の基準モデル、QueryPos追加版、LENS追加版を比べる。商品当たりの学習例数を集計し、候補だけを使う調整と履歴の平均も加える調整を試す。AUCの差を学習例数別に測り、予測に要する時間も既存方式と照合する。
限界と課題
著者は、履歴中の商品との直接照合が、学習例の少ない商品の埋め込み表現に左右されやすいと指摘する。また、KuaiRandでは通常ログによる学習分割と無作為ログによる評価分割で陽性率が異なると記す。これらは結果を解釈する際の条件である。
編集上の検証事項として、導入先の商品ごとの学習例数、行動種別、表示のされ方を確かめたい。確認できた本文の範囲では結果表の数値が読めず、各条件のAUC値や改善幅、ばらつきは確定できない。追加計算量も導入先の条件で測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
LENS: A Staged Design for Interaction Granularity in Sequential CTR Prediction
In sequential CTR prediction, a central design question is at what granularity the target should interact with the user behaviour sequence. Existing models mainly follow two routes. Raw-item architectures such as DIN let the target score each item in the sequence directly. This relies on well-trained item embeddings and becomes brittle for sparse items. Latent-query architectures such as HyFormer, MixFormer, and OneTrans build query representations by combining the target with other information. This is more robust across item-density regimes but blunter: target-specific control is diluted. We propose LENS to restore target-specific control within these coarser bottlenecks. LENS has two modules: a Target-Conditioned Query Gate (TCQG) for query activation and a Target-Conditioned Position Bias (TCPB) for history retrieval. We further introduce Query-Specific Position Bias (QueryPos), a simple static position-aware reference for latent-query backbones. Across three representative latent-query backbones and four datasets, the combined QueryPos+LENS design achieves positive total-gain point estimates in all twelve evaluated backbone--dataset cells. We also identify a density-dependent conditioning rule: as item density decreases, the optimal condition source shifts from item-only to item-plus-sequence.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01