アーカイブ / LLM
購入履歴から次の商品IDを直接予測する推薦手法CoVE
CoVE
概要
- 商品ごとの固有IDを語彙に加え、利用履歴から次の商品IDを直接予測する。
- 複数のハッシュ関数と共有表で、追加した商品IDの埋め込み表を圧縮する。
- Amazonの評価では比較対象を上回る指標が報告されたが、16倍圧縮時のToys & GamesのHR@10は例外だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CoVEの仕組み
- 01IDと題名付き履歴
- 02商品IDを語彙に追加
- 03共有表で表現を作成
- 04次の商品IDを選択
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CoVEは、利用者が過去に選んだ商品の順番から、次に選ぶ商品を予測する手法である。この課題は「逐次推薦」と呼ばれ、履歴に含まれる順序を次の候補選びに使う。
大規模言語モデルを使う既存方式には、次の商品名を文章として生成し、登録商品から近いものを探す方法がある。商品名は複数の語に分かれ得るうえ、生成した名前が商品台帳に存在しない場合もある。
手法
CoVEは商品ごとの固有IDを、モデルが一単位で扱う「トークン」として語彙に追加する。学習時は、過去の商品IDとタイトルを順に並べた履歴と、次に選ばれた商品のIDを与える。例えば、遊んだゲームの列から次のゲームIDを当てるよう、商品IDの表現とモデルの重みを調整する。
推論時は登録商品IDごとの出力値を比べ、次の商品を選ぶ。「埋め込み」はIDを計算に使う数値の列を指す。商品ごとに列を保存すると表が大きくなるため、複数のハッシュ関数で小さな共有表の参照先を決め、その値の平均を商品の表現にする。ハッシュ関数はIDから参照先を計算する規則である。
新規性
CoVEは商品ごとの固有IDを大規模言語モデルの語彙に加え、履歴から次の商品を一つのトークンとして予測する。推論では商品IDに対応する出力値から候補を選ぶため、商品名の文章生成と検索を要しない。
商品数に応じて増える埋め込み表には、複数のハッシュ関数で小さな共有表を参照する圧縮を組み合わせる。固有IDによる予測を保ちながら、追加の表に必要な記憶量を抑える設計である。
従来手法との違い
BIGRecは調整した大規模言語モデルに次の商品名を生成させ、その文章の表現と登録商品の表現との距離を使って推薦を決める。CoVEは登録済みの商品IDに対応する出力値を比べるため、推論時の文章生成と検索が変わる。一方、IDの追加で大きくなる埋め込み表を圧縮する必要がある。
著者らは従来の推薦モデルやTIGERとも比較した。Beautyなど三分野とVideo Gamesでは、参照した先行研究に合わせてデータ分割を変え、CoVEの基盤モデルも異なる。分野間の数値差を手法だけの差として扱うことはできない。
実験結果
著者らはAmazonのBeauty、Toys & Games、Sports & Outdoors、Video Gamesで評価した。指標は、上位候補の順位を考慮するNG@Kと、上位K件に正解が入る割合を示すHR@Kである。前の三分野では埋め込み表を2倍圧縮したCoVEを報告し、BeautyのNG@5は0.0498、TIGERは0.0321だった。
Video GamesのHR@10はCoVEが0.0437、BIGRecが0.0329と著者らは報告した。推論速度もCoVEが毎秒6.5件、BIGRecが毎秒0.066件だった。16倍圧縮時は、三分野の比較でToys & GamesのHR@10だけが比較対象を上回らなかった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ゲーム販売サイトで、利用者に次に案内する作品を選ぶ。必要な元データは、利用者が選んだゲームの時系列、各作品の固有IDとタイトル、続いて選ばれた作品を示す学習用の正解ラベルである。追加のセンサーは想定しない。
販売中の作品とIDを対応付け、この履歴でモデルを調整する。出力されたIDを商品台帳で引き、販売中の作品だけを画面へ渡す運用を検討する。表示後の購買改善は論文の評価からは判断できず、別途測定が必要である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一つの商品群について、時刻順の利用履歴、商品IDとタイトル、次に選ばれた商品を正解ラベルとして用意する。追加センサーは使わず、履歴と商品台帳のIDを対応付ける。過去の期間でモデルを調整し、後の期間を評価に充てる。
現行の推薦方式を基準に、同じ候補集合と評価期間でHR@10、NG@10、毎秒処理件数を測る。圧縮率ごとの精度も記録する。販売終了品の除外と新商品IDの追加手順を確かめ、表示後の行動は別の運用評価で判断する。
限界と課題
著者らの圧縮率別実験では、圧縮を強めると性能が低下した。16倍圧縮でも比較対象を上回る指標が多い一方、Toys & GamesのHR@10は例外と報告している。圧縮率と精度の関係は、扱う商品群ごとに確認する必要がある。
編集上の検証事項として、新商品のIDと表現の追加方法、販売終了品を候補から外す方法がある。示された評価はAmazonの履歴データ上の結果であり、新商品や履歴の短い利用者への推薦、実際に表示した後の行動については、この結果だけで判断できない。
出典
元のタイトル・要旨を確認する（英語）
CoVE: Compressed Vocabulary Expansion Makes Better LLM-based Recommender Systems
Recommender systems play a pivotal role in providing relevant content to users. With the rapid development of large language models (LLMs), researchers have begun utilizing LLMs to build more powerful recommender systems. However, existing approaches that focus on aligning LLMs with recommendation tasks do not fully leverage their sequential information processing capabilities, leading to suboptimal performance. In this paper, we propose a novel system called compressed vocabulary expansion (CoVE). In CoVE, each item is assigned a unique ID within the expanded vocabulary. Our framework effectively capitalizes on sequence understanding abilities of LLMs, significantly enhancing their performance on recommendation tasks. Additionally, we compress the embedding layer, making CoVE practical for large-scale industrial applications. The effectiveness and performance of CoVE are demonstrated through comprehensive experiments on multiple recommendation datasets and comparisons with prior works. Our code can be found at https://github.com/HaochenZhang717/CoVE-official-Repo.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01