アーカイブ / AI Agent
視聴者と投稿者の継続的な反応を動画の推薦順位に反映するRLIV-UA
RLIV-UA
RLIV-UAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . The main process of the proposed RLIV-UA model optimizing the LIV of UA pair based on their interactions.
概要
- 視聴者と投稿者の組み合わせごとに、将来の反応を含む価値を推定して動画の順位付けに使う。
- 反応間隔の長さには次状態の近似で対応し、クリック、視聴時間、フォロー、ギフトの価値を別々に学ぶ。
- 著者らのKwaiライブ配信面のA/B試験では、通常の順位付けに対し総収益が38.6445%増えた。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RLIV-UAの仕組み
- 01視聴者と投稿者の状態
- 02表示後の反応を結合
- 03次状態を近似
- 04反応別の価値を推定
- 05動画を順位付け
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
RLIV-UAは、視聴者と投稿者の組み合わせが今後も反応し合う価値を見積もり、動画の推薦順位に使う手法だ。その場のクリックだけを予測する順位付けでは、後日のフォローやギフトを同じ組み合わせの変化として扱いにくい。
論文はこの将来の反応を含む価値を「生涯相互作用価値」と呼ぶ。同じ投稿者への反応は毎回の推薦で起きず、候補となる組み合わせも多い。疎らな履歴から学習用の記録を作ることが課題になる。
手法
学習時は、視聴者・投稿者の属性、両者の累積反応、表示した動画と直後の反応を結び付ける。例えば視聴者が投稿者の動画を見てフォローしたら、その反応を累積値に加え、同じ組み合わせの次の状態を近似する。実際の次回反応を待たずに学習記録を作る方法を、著者らは隣接状態近似と呼ぶ。
クリック、視聴時間、フォロー、ギフトには別々の価値推定器を置く。ここで価値とは、現在と将来の反応を合わせた見積もりであり、これを用いて順位を学ぶ仕組みが強化学習である。発生頻度の高い反応を少ない反応の学習に役立て、現在の反応を当てる補助学習も加える。配信時は候補ごとの価値を出し、目的に応じて使う価値を選んで順位を決める。
新規性
著者らの提案は、視聴者全体の利用継続ではなく、視聴者と投稿者の組み合わせごとに将来の反応を含む価値を学ぶ点にある。同じ組み合わせの反応が、別々の推薦リクエストで起きる状況を扱う。
そのために次の状態を近似して学習記録を作り、クリック、視聴時間、フォロー、ギフトに別々の価値推定を設ける。発生頻度の異なる反応を併用し、現在の反応を予測する補助学習も加えた。
従来手法との違い
オフラインの比較対象は、通常の順位付けに用いるDeepFMと、強化学習手法のCQL、DQN、TD3、RLURである。RLURは、視聴者の長期的な反応を考慮して順位付け時の予測値の重みを調整する。
RLIV-UAは視聴者と投稿者の組み合わせを状態として扱い、その組み合わせの将来の反応を価値に含める。著者らのシミュレーションではRLURよりセッション長と視聴時間が高かったが、クリック率はDeepFMを下回った。この比較は同じ実験環境での結果である。
実験結果
著者らはKuaiRandを使って視聴者の反応を模擬する環境を学習し、オフラインで比較した。論文に記載されたデータ規模は27,285人、32,038,725件のアイテム。最後の10エポックの平均で、RLIV-UAのセッション長は12.8860、視聴時間は377.4867、クリック率は0.5015、多様性は0.8827。RLURは順に6.6810、151.0550、0.4519、0.7206だった。
著者らのオンラインA/B試験では、Kwaiのライブ配信面で通常の順位付けに対し総収益が38.6445%、新規ファン数が8.282%増えた。別のKuaishou短編動画面では視聴時間が0.131%、アプリ利用時間が0.083%、週次継続率が0.021%増えた。両試験は配信面、期間、採用した価値指標が異なる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：投稿者の新規ファン獲得を重視する動画フィードで、視聴者と投稿者の関係を使った候補の並べ替えを試す。入力は表示候補、両者の属性と過去の反応回数、出力は候補の順位とする。追加のセンサーは使わず、配信ログを入力源とする想定だ。
学習には表示履歴と、その後のクリック、視聴時間、フォローを同じ組み合わせに結び付けた記録が要る。まず対象フィードの反応ラベルに合わせて価値推定を調整し、既存順位と並走させて順位と反応を記録する。効果は検証前の仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象を一つの動画フィードに絞り、既存の順位付けを基準にする。学習には視聴者・投稿者の属性、表示候補、両者の累積反応を結び付けたログが必要だ。クリック、視聴時間、フォローをラベルとし、ギフトを対象に含めるならその記録も用意する。追加センサーは前提としない。
まず欠損と同じ組み合わせの反応間隔を調べ、次状態の近似と価値推定を対象データに合わせる。並走評価では同じ期間・定義でセッション長、視聴時間、クリック率、フォロー数を既存順位と比較する。配信試験では投稿者ごとの新規ファン数も測る。
限界と課題
著者らは、同じ視聴者と投稿者の反応間隔が長く、組み合わせの数も多いため、全組み合わせの履歴保存や実際の次状態の取得が難しいと説明する。提案手法は現在の反応から次状態を近似するため、後日の状態を直接観測して学ぶ設計ではない。
編集上の検証事項は、近似が順位に与える影響と、投稿者ごとの便益の偏りである。KuaiRandにはギフト信号がなく、オフライン実験ではギフト予測の補助ネットワークを使っていない。オンライン試験も配信面と採用した価値指標が異なるため、数値を別のサービスへそのまま移せない。
出典
元のタイトル・要旨を確認する（英語）
Reinforce Lifelong Interaction Value of User-Author Pairs for Large-Scale Recommendation Systems
Recommendation systems (RS) help users find interested content and connect authors with their target audience. Most research in RS tends to focus either on predicting users' immediate feedback (like click-through rate) accurately or improving users' long-term engagement. However, they ignore the influence for authors and the lifelong interaction value (LIV) of user-author pairs, which is particularly crucial for improving the prosperity of social community in short-video platforms. Currently, reinforcement learning (RL) can optimize long-term benefits and has been widely applied in RS. In this paper, we introduce RL to Reinforce Lifelong Interaction Value of User-Author pairs (RLIV-UA) based on each interaction of UA pairs. To address the long intervals between UA interactions and the large scale of the UA space, we propose a novel Sparse Cross-Request Interaction Markov Decision Process (SCRI-MDP) and introduce an Adjacent State Approximation (ASA) method to construct RL training samples. Additionally, we introduce Multi-Task Critic Learning (MTCL) to capture the progressive nature of UA interactions (click -> follow -> gift), where denser interaction signals are leveraged to compensate for the learning of sparse labels. Finally, an auxiliary supervised learning task is designed to enhance the convergence of the RLIV-UA model. In offline experiments and online A/B tests, the RLIV-UA model achieves both higher user satisfaction and higher platform profits than compared methods.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01