アーカイブ / LLM
推論文を生成してから商品を順位付けする推薦モデル「R2ec」
R2ec
R2ecの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The architecture overview of R 2 ec \text{R}^{2}\text{ec} , which facilitates interleaved reasoning and recommendation in an autoregressive process with two task-specific heads: 1) language-modeling head ( lm_head ) for reasoning generation; and 2) recommendation head ( rec_head ) for item prediction.
概要
- R2ecは一つのモデルで推論文を生成し、その最終状態を使って商品候補を採点する。
- RecPOは次に選ばれた商品のラベルから報酬を作り、推論文の生成と商品推薦を学習する。
- 著者らはAmazon由来の3データセットで相対改善を報告するが、確認できた本文では報告値の個別条件を特定できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、R2ecの仕組み
- 01購入・評価履歴
- 02推論文の生成
- 03商品候補の採点
- 04推薦順位
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
R2ecは、利用者の過去の購入・評価から次の商品を予測する推薦に、文章による推論を組み込む。大規模言語モデルとは大量の文章で学習したモデルで、ここでは履歴を読み、商品を選ぶ前に推論文を生成する。
著者らによると、従来の推論を加える方式では、推論用モデルと推薦器を別々に動かす場合がある。二つのモデルを運用する負担に加え、推論文の生成と商品順位を一体で学習しにくい点が課題となる。
手法
利用者の購入・評価履歴を文章にして入力する。たとえば「ヘッドホンを高く評価した」という履歴から、言語生成部が推論文を一語ずつ作る。次に推薦部が生成後の内部状態と各商品の数値表現を照合し、商品ごとの点数から順位を決める。この数値表現を「埋め込み」といい、商品説明を同じモデルに入力して得る。
学習にはRecPOという、報酬に基づいて出力の仕方を更新する強化学習法を使う。履歴ごとに複数の推論文を試し、次に選ばれた商品を正解として、正解の順位と全商品に対する正解商品の相対的な点数から報酬を作る。推論文の生成は試した経路すべてから学び、商品選択の更新には報酬上の評価が最も高い経路だけを使う。
新規性
R2ecは、推論文を作る言語生成部と、商品を採点する推薦部を、共通の内部状態を使う一つのモデルに置く。生成した推論文の最終状態を、そのまま商品採点に使う構成が特徴だ。
学習法RecPOは、推論文の正解例を使わず、次に選ばれた商品を正解ラベルとして両方を更新する。推論文の生成から商品選択までを一続きの学習対象とする。
従来手法との違い
比較対象には、行動履歴から次の商品を予測するGRU4RecやSASRec、言語モデルを使うTIGERやBigRec、推論を加えるLangPTuneなどが含まれる。著者らは、推論用モデルを推薦器の外に置く方式では、両者の運用と交互の学習が必要になると説明する。
R2ecでは一つのモデルが推論文を生成し、その結果を使って商品を採点する。性能差については、確認できた本文の範囲では比較表が途中で切れており、各手法・各データセットの数値を通して照合できない。
実験結果
著者らはAmazon由来のMusical Instruments、CDs and Vinyl、Video Gamesで、全商品を候補に次の商品を推薦する課題を評価した。指標はHit@5（正解が上位5件に入る割合）やNDCG@20（正解の順位を考慮する上位20件の指標）などで、従来型、言語モデル型、推論を加えた推薦手法と比較した。
著者らは、比較手法に対する相対改善としてHit@5で68.67％、NDCG@20で45.21％を報告する。ただし、確認できた本文の範囲では表が途中で切れており、各数値に対応するデータセットと比較相手は特定できない。分割や前処理の詳細も確認できないため、この値を個別の運用条件に当てはめることはできない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：通販サイトで、利用者が次に関心を持つ商品を並べる。入力は購入・評価の時系列と商品説明、学習用ラベルは履歴の次に選ばれた商品とし、出力は商品IDの順位付き一覧にする。画像・音声などのセンサー入力は、この案では使わない。
履歴と説明を文章に整え、対象サイトの商品集合でモデルを適応させる。商品追加時は説明から商品を表す数値列を作って候補に加える。順位の改善や説明文の妥当性は、この用途で別途確かめる必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象サイトの購入・評価の時系列と商品説明を集め、各履歴の次に選ばれた商品を正解ラベルにする。推論文の教師ラベルや追加センサーは前提としない。履歴を入力文に整え、商品説明から埋め込みを作り、対象の商品集合に合わせて小規模に適応させる。
同じ履歴の分割と商品集合で、現行の推薦器を基準にHit@5とNDCG@20を比較する。併せて一件当たりの応答時間、商品追加後の順位変化、生成文が履歴に沿うかを記録する。採用の判断は、この検証結果に基づいて行う。
限界と課題
著者らは、推薦に適した推論文の正解例が得にくいことを課題に挙げる。また、順位だけを報酬にすると、質が異なる推論文でも同じ上位順位となり、同点になり得ると説明する。RecPOはこの問題に対し、順位と正解商品への類似度を報酬に組み合わせる。
編集上の検証事項は、生成文が履歴に沿っているか、商品追加後も順位と応答時間が実用範囲に収まるかである。データの分割・前処理は付録参照とされ、確認できた本文の範囲では再現条件を十分に判断できない。
出典
元のタイトル・要旨を確認する（英語）
R$^2$ec: Towards Large Recommender Models with Reasoning
Large recommender models have extended LLMs as powerful recommenders via encoding or item generation, and recent breakthroughs in LLM reasoning synchronously motivate the exploration of reasoning in recommendation. In this work, we propose R$^2$ec, a unified large recommender model with intrinsic reasoning capability. R$^2$ec introduces a dual-head architecture that supports both reasoning chain generation and efficient item prediction in a single model, significantly reducing inference latency. To overcome the lack of annotated reasoning data, we design RecPO, a reinforcement learning framework that optimizes reasoning and recommendation jointly with a novel fused reward mechanism. Extensive experiments on three datasets demonstrate that R$^2$ec outperforms traditional, LLM-based, and reasoning-augmented recommender baselines, while further analyses validate its competitive efficiency among conventional LLM-based recommender baselines and strong adaptability to diverse recommendation scenarios. Code and checkpoints available at https://github.com/YRYangang/RRec.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01