アーカイブ / AI Agent
推薦候補をまとめて採点し、利用履歴の重複計算を減らす
Amortized History Inference for DLRM
Amortized History Inference for DLRMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Illustration of regular inference (left) for user action history architectures vs. amortized inference (right). History items are shown in grey and candidate items in red. In amortized inference candidate items are added to the sequence causing the Transformer to only process one sample per request instead of m m samples. A figure showing two diagrams. First for regular inference a three by four grid where history sequences are combined with candidates in the last column. This goes into a Transformer. The output is of the same shape. The amortized inference figure shows a grid of one row and six columns, where the left three are history items and the right three are candidate items. This goes into a Transformer and the output is of the same shape. The figure indicates the input and output shapes under regular inference compared to amortized inference. For amortized inference the input and output is smaller.
概要
- 候補を履歴の末尾に置き、複数候補に共通する履歴計算を一度にまとめる。
- 公開４データセットのMAEでは、追加方式と連結方式の優劣が２件ずつに分かれた。
- 著者らはLinkedIn FeedとAdsへの導入で、償却しない推論に比べ遅延が30%減ったと報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Amortized History Inference for DLRMの仕組み
- 01利用履歴と複数候補
- 02候補を履歴末尾に配置
- 03履歴を一度だけ計算
- 04候補別の予測値
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
深層学習推薦モデル（DLRM）は、利用者と候補項目の情報から、候補ごとの反応を予測する。過去に反応した項目の並びは有用な手がかりだが、その関係を調べるTransformerを候補ごとに動かすと、同じ履歴を何度も計算する。
一度の要求で多数の候補を順位付けする場面では、この重複が応答時間や計算負担に響く。論文は、候補と履歴を早い段階で組み合わせる方法を見直し、予測精度と推論時の負担を調べた。
手法
まず、利用者が反応した項目の列の末尾に、採点したい候補を置く。クロスアテンションは、どの項目の情報を参照するかを決める仕組みで、候補は履歴を参照できる一方、履歴は候補を参照しない。この制約により、候補が違っても履歴側の計算結果を共通に使える。
例えば複数の記事候補を一人に示す場合、同じ履歴を候補ごとに入力せず、全候補を一つの列に加えてTransformerで処理する。得られた候補別の表現を、候補ごとの入力形状へ戻し、MLPと呼ぶ後段の予測用ネットワークへ渡す。共通部分の計算をまとめる方法を償却推論という。著者らは、この構成では候補の出力が通常推論と等価になると説明している。
新規性
候補を履歴の末尾に置き、候補から履歴を参照する注意機構を使うことで、複数候補に共通する履歴計算を一度で済ませる構成が中心である。著者らは既存のM-FALCONの償却推論を、候補を個別に採点するDLRMへ適用した。
Transformerの前後でデータの形を変え、まとめて得た候補別の出力を後段の予測部分へ渡す。これにより、既存の候補別予測という形式と両立させている。
従来手法との違い
比較対象は、候補の情報を履歴の各項目に連結する方式と、候補を末尾に置いて候補ごとに履歴を処理する通常推論である。前者と提案する追加方式の予測精度を比べ、後者と償却推論の計算負担を比べている。
通常推論では候補の数だけ同じ履歴の処理が繰り返される。償却推論では一つの要求に含まれる候補をまとめて入力する。公開データの予測誤差では、追加方式と連結方式の優劣はデータセットによって分かれた。
実験結果
著者らは公開４データセットで最後の評価値を予測し、平均絶対誤差（MAE）で追加方式と連結方式を比較した。MovieLens 20Mは0.709対0.724、Amazon Booksは0.622対0.681で追加方式が低く、Goodbooksは0.722対0.710、Netflixは0.727対0.722で連結方式が低かった。
LinkedIn Feedの導入結果では、通常の追加方式から償却推論にすると、表３の相対値でp90遅延は+56%から+11%、p95 CPU使用量は+43%から+5.5%になった。p90は要求の90%が収まる時間を表す。著者らはFeedとAdsで、償却しない推論に比べ遅延が30%減ったと報告している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：記事フィードで、利用者の閲覧・反応履歴と、同時に表示候補となる複数の記事を入力し、各記事への反応予測値を並び順の判断材料として出す。必要な学習データは利用者と記事の特徴、時系列の反応履歴、候補記事への反応を示すラベルである。
専用センサーは想定せず、記事の表示や反応を記録するログを使う。記事と履歴の特徴表現をそろえ、候補をまとめる入出力変換と注意機構を、対象の推薦モデルに合わせて調整する必要がある。効果は実運用で検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一人の履歴に対して複数候補を採点する小規模な試作を作り、候補ごとに履歴を処理する通常の追加方式を基準にする。学習には過去の項目・利用者の特徴、時系列の反応履歴、候補への反応ラベルが必要で、専用センサーは想定しない。
対象モデルに合わせて特徴表現、注意機構、入出力の形状変換を調整する。候補数と履歴長を変え、同じ入力条件で予測値の一致、業務で使う予測指標、応答時間、CPU使用量を比べる。実際の推薦順位への影響も別に確認する。
限界と課題
著者らの結果では、公開４データセットで追加方式が連結方式に常に勝つわけではない。Feedのオンライン反応が償却推論で高かった理由を遅延短縮とする説明も、著者らの推測であり、因果関係を確かめた結果としては示されていない。
編集上の検証事項は、現場の候補数や履歴長でも応答時間と計算負担が改善するか、予測品質が保たれるかである。必要な履歴と反応ラベルの量や偏りを確認し、遅延の変化と利用者の反応の変化も分けて評価したい。
出典
元のタイトル・要旨を確認する（英語）
Efficient user history modeling with amortized inference for deep learning recommendation models
We study user history modeling via Transformer encoders in deep learning recommendation models (DLRM). Such architectures can significantly improve recommendation quality, but usually incur high latency cost necessitating infrastructure upgrades or very small Transformer models. An important part of user history modeling is early fusion of the candidate item and various methods have been studied. We revisit early fusion and compare concatenation of the candidate to each history item against appending it to the end of the list as a separate item. Using the latter method, allows us to reformulate the recently proposed amortized history inference algorithm M-FALCON \cite{zhai2024actions} for the case of DLRM models. We show via experimental results that appending with cross-attention performs on par with concatenation and that amortization significantly reduces inference costs. We conclude with results from deploying this model on the LinkedIn Feed and Ads surfaces, where amortization reduces latency by 30\% compared to non-amortized inference.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01