アーカイブ / LLM
商品候補の表示順を決め直すGR2:意味IDと順位報酬を使った再ランキング
GR2
GR2の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Overview of the 4-stage training pipeline: student LLM mid-training on tokenized semantic IDs, reasoning data generation using teacher LLM via rejection sampling and on-policy distillation, student LLM reasoning enablement by RL, and serving ROI optimization.
概要
- GR2は、利用者の履歴と既存の推薦器が選んだ商品候補から、表示直前の候補順を生成する。
- 意味IDの学習、教師モデルからの推論移転、候補全体の順位と出力形式を評価する強化学習を組み合わせる。
- 著者らは産業規模のトラフィックで、既存の基準手法に対しR@1で18.7%、R@3で7.1%、N@3で9.6%の改善を報告する。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、GR2の仕組み
- 01商品テキスト
- 02意味IDを学習
- 03推論例と順位報酬で学習
- 04履歴と候補を再順位付け
- 05順位リスト
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
GR2は、既に選ばれた商品候補を画面に出す直前に並べ替える手法である。推薦システムは候補検索、初期順位付け、再ランキングの順に対象を絞る。カルーセルや格子状の表示では、最後の順序が利用者の目に入る商品を左右する。
著者らは、従来のLLM利用は候補検索や初期順位付けに偏っていると指摘する。商品台帳の機械的なIDは言語モデルの語彙に含まれず、長い入力や推論文も運用負担になる。
手法
まず商品テキストを、内容に基づく短い記号列「意味ID」に変換する。意味IDと通常の文章を混ぜて言語モデルに学習させ、履歴と候補には商品の意味ID、名称、カテゴリを同じ形式で載せる。著者らは意味IDを作る仕組みで99%以上の一意性を報告する。
次に、大きい教師モデルから理由と順位を含む学習例を作る。正解の商品を教師に示す方法と、正解を伏せて予測が合った出力を採る方法がある。生徒モデルをそれらの例やOPDで導いた後、正しい形式と、行動ラベルに照らした候補全体の順位を報酬として強化学習する。提供用モデルは追加学習により、推論文を出さず構造化された順位だけを返す。
新規性
GR2は、既に選ばれた候補の表示順を決める再ランキングに、大規模言語モデル(LLM)を適用する。商品テキストから作る意味IDの学習、教師モデルによる推論例、順位を評価する強化学習をつなぐ構成を示した。
著者らは、入力順をそのまま返して報酬を得る挙動への条件付き報酬も提案する。さらに、入力の圧縮と順位だけを出す追加学習を、提供時の負担を減らす工程として組み込む。
従来手法との違い
著者らによると、従来の産業向け再ランキングは、商品ごとにクリック率を予測する方式が中心である。GR2は利用者の履歴と候補全体を受け取り、候補の順序を生成する。報告された改善率の比較相手は既存の社内基準手法だが、その詳細は確認できた本文の範囲では分からない。
学習方法では、教師の出力を固定データとして模倣する教師あり微調整(SFT)が産業規模で崩れたと著者らは報告する。代替のオンポリシー蒸留(OPD)は、生徒モデル自身が出した結果を報酬と教師モデルの確率で導く。
実験結果
著者らは産業規模のトラフィックで、既存の基準手法に対しR@1が18.7%、R@3が7.1%、N@3が9.6%改善したと報告する。また、提供後の続く9日間に性能低下は見られなかったという。確認できた本文の範囲では実験節が途中で切れており、指標の定義、集計対象、データ分割の詳細は分からない。
著者らはさらに、入力長を80%超削って全入力と同程度の品質を保ち、1.7BのOPDモデルが32Bの教師モデルの改善分のおよそ82%を回復したと報告する。いずれも本文中の報告値であり、対象条件を超えて当てはめる根拠にはならない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:通販サイトの商品一覧で、既存の推薦器が選んだ候補の表示順を調整する。入力は利用者の閲覧・購入履歴と、候補商品の名称・カテゴリ・意味IDとし、出力は同じ候補を並べ替えた順位リストとする。
自社の商品テキストから意味IDを作り、過去の表示記録から履歴、候補、クリックや購入のラベルを対応付けて学習・適応させる。追加のセンサーを使う想定はない。この用途での改善は仮説であり、対象サイトの記録で確かめる必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:商品一覧を一つ選び、現行の候補選定器が出した順序を基準にする。商品名・カテゴリなどのテキスト、利用者の行動履歴、表示ごとの候補、クリック・購入ラベルをそろえ、意味IDの作成と自社データへの適応に使う。追加センサーは想定しない。
同じ候補集合について、現行順序とGR2方式の順序を学習に使わない期間の記録で比べる。上位に来た商品のラベル、候補の欠落・重複、入力順を維持する割合、入力長と応答時間を測る。表示位置によるラベルの偏りも確認し、改善の判断に含める。
限界と課題
著者らは、報酬の設計によって、モデルが入力順を維持したり表示位置の偏りを利用したりする問題を報告する。また、長い推論文は提供時の計算負担となるため、順位だけを出す追加学習を行っている。
編集上の検証事項として、自社の行動ラベルに表示位置の偏りがどの程度あるか、商品更新後も意味IDで候補を区別できるかを調べたい。確認できた本文の範囲では実験節が途中で切れており、データ分割やオンライン評価の手順は判断できない。
出典
元のタイトル・要旨を確認する(英語)
GR2 Technical Report
Industrial recommendation systems serve billions of users through a multi-stage funnel -- retrieval, early-stage ranking, and re-ranking -- where the final re-ranking step disproportionately shapes user engagement and downstream performance, particularly for carousel and grid display formats. Despite growing enthusiasm for Large Language Models (LLMs) in recommendation, three gaps hinder industrial adoption: (1) most efforts target retrieval and ranking, leaving re-ranking -- the stage closest to the final user experience -- largely underexplored; (2) LLMs are typically deployed zero-shot or via supervised fine-tuning, underutilizing the reasoning capabilities unlocked by reinforcement learning (RL) on verifiable rewards; (3) deployed catalogs index billions of items with non-semantic identifiers that lie outside any base-LLM vocabulary. We present GR2 (Generative Reasoning Re-Ranker), an end-to-end framework that combines (i) mid-training on semantic IDs produced by a tokenizer with >=99% uniqueness, (ii) reasoning-trace distilled from a stronger teacher via targeted prompting and rejection sampling, and (iii) RL with verifiable rewards purpose-built for re-ranking. To make GR2 resource-viable, we further (iv) introduce a context compressor that amortizes training cost, On-Policy Distillation (OPD) as a scalable alternative to SFT -- which we find collapses at industrial scale -- and reasoning distillation for low-latency serving. GR2 delivers +18.7% R@1, +7.1% R@3, and +9.6% N@3 over legacy baselines on industrial-scale traffic. We further find that reward design is critical in re-ranking: LLMs often hack rewards by preserving the incoming order or exploiting position bias, motivating conditional verifiable rewards as essential industrial components.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




