アーカイブ / LLM
評価の強さと利用までの時間差を学ぶ逐次推薦手法RecPO
RecPO
RecPOの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Human-like decision behavior in preference-based choices, involving fine-grained trade-offs among reward, delay, effort, and risk.
概要
- RecPOは低評価も含む利用履歴を使い、評価の強さと利用までの時間差に応じて選好学習の目標差を変える。
- 著者らのMovieLens実験では、LLaMA3-8BのHit Ratio@1がRecPOで0.3451、S-DPOで0.2902だった。
- 再生時間や再生回数を満足度の代用にする場合、利用先でその妥当性を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RecPOの仕組み
- 01題名と評価の履歴
- 02評価信号を整理
- 03時間差で目標調整
- 04候補から推薦
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
RecPOが扱う逐次推薦は、映画や音楽などの利用履歴から、次に選ばれる項目を予測する課題である。同じ「利用した」という記録でも、気に入った項目と不満だった項目を区別しなければ、好みを読み違えるおそれがある。
評価の強さに加え、基準時点から選択までの時間差も次の項目を考える手掛かりになる。著者らは、項目を好むかどうかの二択を中心に学ぶ既存の選好学習では、こうした情報を十分に扱えないと考えた。
手法
利用者の項目履歴を、低評価も含めて時系列に並べ、「題名｜評価」の形で言語モデルに渡す。明示的な点数がないSteamとLastFMでは、再生時間と再生回数を評価の代用とする。候補の題名と課題文も入力し、例えば過去の映画と点数を見せて、候補から次に好まれそうな作品を選ばせる。
まず、正解の次項目を予測する学習で汎用の言語モデルを課題に適応させる。次に、好まれる項目と複数の好ましくない項目を比較して学ぶ。「報酬の目標差」は前者をどれだけ強く優先させるかという学習上の値で、RecPOは評価の強さと基準時点から項目の利用までの時間差に応じて変える。
新規性
RecPOは、好まれる項目と好まれない項目の比較に、評価の強さと利用までの時間差から決まる可変の目標差を加える。著者らは、明示的な点数と利用記録から推定した評価を、共通の選好信号として扱う。
低評価の項目も履歴から除かず、題名と評価を併記する。何を選んだかに加え、何を好まなかったかを区別できる入力を作る設計である。
従来手法との違い
DPOは好まれる出力と好まれない出力の対を使う選好学習法である。推薦向けのS-DPOは、一つの好まれる項目を、無作為抽出した複数の否定例と比較する。著者らによれば、これらの方法は評価の強さや時間差に応じて比較の目標差を変えない。
RecPOは複数の否定例との比較を引き継ぎ、項目ごとの評価と時間差で目標差を調整する。実験では、従来型のGRU4Rec、Caser、SASRecと、言語モデル向けのDPO、SimPO、S-DPOなどを比較対象とした。
実験結果
著者らはMovieLens-1M、Amazon-Books、BeerAdvocate、Steam、LastFMで評価した。各利用者の履歴を時系列に並べ、最後から2件目を検証、最後の1件をテストに使う。テスト時は正解1件と無作為抽出した未利用19件から選ぶ。Hit Ratio@1は最上位が正解の割合、Valid Ratioは形式を守り候補内から答えた割合である。
LLaMA3-8Bを使ったMovieLensのHit Ratio@1は、著者らの表でRecPOが0.3451、S-DPOが0.2902、Valid Ratioは順に0.9969、0.9983だった。SteamのHit Ratio@1はRecPOが0.4672、SASRecが0.4587。いずれもこの候補設定での結果であり、実運用での効果を表す数値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の学習動画について、従業員が次に選ぶ一本を候補一覧から推薦する。入力には動画の題名、視聴順と時刻、本人が付けた満足度を使い、低評価の動画も履歴に残す。出力は一覧内の動画名とする。
適用には、時刻付きの視聴履歴と動画単位の満足度ラベルを集め、題名と評価を所定の入力形式に整える必要がある。新しいセンサーは想定しない。次に選ぶ動画を当てられても、学習成果の向上までは示せないため、用途に合う指標を別に定める。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内動画の題名、時刻付き視聴履歴、本人の満足度ラベルを集め、次の一本を候補から選ぶ小規模な課題を作る。追加センサーは使わず、欠けた評価や重複記録を確認する。履歴を時系列に分け、テスト対象の情報が学習に混ざらないようにする。
単純な時系列推薦を比較基準とし、同じ候補集合で最上位の正解率、候補外回答の割合、低評価動画の推薦割合を測る。RecPO側は次項目予測への適応後に選好学習を行い、評価ラベルを使わない場合とも比べる。必要なデータ量と運用負荷も記録する。
限界と課題
著者らは、再生時間や再生回数を評価の代用にしたデータでは、従来型の推薦手法に対する性能差が比較的小さいと報告する。代用信号と利用履歴の性質が理由ではないかと述べているが、原因を確定した結果ではない。
編集上の検証事項は、視聴時間が満足度を表すか、満足度を付けない人をどう扱うか、候補の作り方によって精度がどう変わるかである。確認できた本文の範囲では、社内動画での効果や、推薦が利用者の学習に与える影響は確認できない。
出典
元のタイトル・要旨を確認する（英語）
What Makes LLMs Effective Sequential Recommenders? A Study on Preference Intensity and Temporal Context
What enables large language models (LLMs) to effectively model user preferences in sequential recommendation? Our investigation reveals that existing preference-alignment approaches largely rely on binary pairwise comparisons, overlooking two critical factors: preference intensity (the structured strength of affinity or aversion) and temporal context (the extent to which recent interactions better reflect a user's current intent). Through controlled experiments, we show that leveraging comprehensive feedback with structured preference signals substantially improves recommendation performance, indicating that binary modeling discards essential information. Motivated by these findings, we propose RecPO, a unified preference optimization framework that maps both explicit and implicit feedback into a common preference signal and constructs adaptive reward margins that jointly account for preference intensity and interaction recency. Experiments across five datasets show that RecPO consistently outperforms state-of-the-art baselines while exhibiting behavioral patterns aligned with human decision-making, including favoring immediate satisfaction, maintaining preference coherence, and avoiding dispreferred items. Our results highlight that preference intensity and temporal context are fundamental ingredients for effective LLM-based recommendation.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01