アーカイブ / LLM
推薦用の階層コードを接頭部分ごとに読み分けるPrefixMem
PrefixMem
PrefixMemの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . The same SID code means different things under different prefixes. PrefixMem provides prefix-conditioned vectors; flat embeddings cannot distinguish them.
概要
- PrefixMemは、SIDの先頭からのコード列を記憶表で参照し、同じコードにも文脈に応じた入力表現を与える。
- 著者らのQwen3 1.7B、5万ステップの比較では、TF-L5が37.6%から200万行のPrefixMemで54.8%になった。
- 正解の5段SIDが上位100候補に入る割合は、基準の9.5%から500万行のPrefixMemで11.6%になった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PrefixMemの仕組み
- 01反応履歴と商品SID
- 02接頭コードをハッシュ化
- 03記憶表の表現を加算
- 04次のSIDコードを予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
PrefixMemは、推薦対象を表す階層コードを、前に並ぶコードとの関係に応じてLLMに読ませる方法である。Semantic ID（SID）は商品などを複数段のコードで表し、生成型の推薦モデルはそのコードを順に予測する。
同じ下位コードでも、前にあるコードが違えば指す商品群が変わる。コードごとに一つの入力表現だけを与える構成では、深い階層ほど多くなる組み合わせを学習する必要があり、著者らはこれを課題としている。
手法
著者らは各商品を5段のSIDに変換し、利用者の反応履歴を、商品の説明文とSIDを含む列としてLLMに学習させる。SIDのある位置では、先頭から現在のコードまでの列を使う。例えば同じ下位コードでも、先頭側のコードが異なれば別の入力表現を与えられる。
PrefixMemは長さの異なる先頭からのコード列をハッシュ化し、記憶表の参照先を決める。取り出した数値の列をまとめて現在のコードの埋め込みに加え、LLMが次のコードを予測する。著者らの標準設定では記憶表を第4・第5段で使い、表を次のコードの分類などで事前学習してからLLMと共同で更新する方法も試した。
新規性
PrefixMemは、推薦対象の階層コードをLLMに入力する際、先頭からのコード列に応じた表現を記憶表から取り出して加える。同じ位置の同じコードでも、先行するコードが違えば入力表現が変わる。
著者らは記憶表をLLMとは別に事前学習し、接続後に共同学習する方法も示した。学習済みの表を別のLLMへ移す場合は、出力を接続先の入力次元に合わせる変換層を新たに初期化する。
従来手法との違い
基準は、Semantic ID（SID）を構成する各コードをLLMの語彙に追加し、先行コードにかかわらず同じ埋め込みを使う構成である。埋め込みは、コードをモデルが扱う数値の列に変えた表現を指す。
PrefixMemはその表現に、接頭部分から取得した数値の列を加える。著者らは同じ学習課題・ステップ数で基準と比較し、別の符号化方式として4層のTransformer型エンコーダも設定した。以下の数値は主にエンコーダなしの基準との比較である。
実験結果
著者らはPinterestの反応履歴から約1,000万の部分系列を学習用に抽出し、時期と利用者を分けた10万例で評価した。各商品には5段のSIDを付け、Qwen3 1.7Bなどを5万ステップ学習した。
Qwen3 1.7Bでは、正しい第1～第4段を入力して第5段を当てるTF-L5が、基準の37.6%から、200万行のPrefixMemで54.8%になった。5段すべての正解SIDが上位100候補に入るRecall@100は、基準の9.5%から、500万行のPrefixMemで11.6%だった。いずれも著者らの評価条件での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：画像と説明文を持つ商品カタログで、閲覧履歴から次に提示する商品の候補を作る。入力は利用者の反応履歴、商品ごとのSIDと説明文、出力は候補SIDを実在商品に照合した一覧とする。
学習には商品画像などから作る表現とSID、商品説明文、履歴中で次に反応した商品を示すラベルが必要になる。対象カタログ用にSIDを作り、LLMとPrefixMemを適応させる。追加センサーは想定せず、候補の改善は検証すべき仮説とする。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象商品の画像などから商品表現とSIDを作り、説明文と利用者の反応履歴をそろえる。次に反応した商品のSIDを正解ラベルとし、同じ学習データと設定で、通常のLLMとPrefixMem付きLLMを比較する。追加センサーは想定しない。
学習より後の期間から、学習側と利用者が重ならない評価例を取る。TF-L5、上位100候補に正解SIDが入る割合、生成SIDが商品表に存在する割合を測る。SIDを共有する商品の件数も数え、候補SIDから実際の商品を選ぶ工程を別に確認する。
限界と課題
著者らは、5段のSIDが完全一致しても、複数の商品が同じSIDを共有し得ると説明する。したがって、SIDの正解率や検索再現率は、個々の商品を一意に選べた割合を意味しない。
編集上の検証事項は、対象カタログの画像などからSIDを作れるか、履歴の少ない商品でも効果が続くか、生成SIDが商品表に存在するかである。確認できた本文の範囲では、実際の配信環境での利用者反応や運用費用は判断できない。
出典
元のタイトル・要旨を確認する（英語）
LLMs Need Encoders for Semantic IDs Too
Multimodal LLMs use dedicated encoders to bridge non-language modalities (vision encoders for images, depth models for audio codec tokens) because raw token embeddings alone cannot capture modality-specific structure. We argue that Semantic IDs (SIDs), the hierarchical codes used in generative recommendation, constitute another such modality: a SID level token's meaning depends on its prefix context, yet current systems simply add SID tokens to the vocabulary and rely on training to learn these context-dependent meanings from scratch. We propose PrefixMem, a lightweight SID encoder based on prefix n-gram memory tables that provides the LLM with structured, prefix-conditioned representations at SID token positions. Like vision encoders in multimodal LLMs, PrefixMem can be pre-trained independently and then attached to any LLM for joint training. We evaluate on large-scale data from Pinterest across multiple LLM families and show that PrefixMem improves deepest-level SID accuracy by up to 46% relative and full-SID retrieval recall by up to 22% relative at matched training compute. The encoder's benefit concentrates on hard examples where greedy decoding fails, with up to 77% relative accuracy gains, confirming that SID tokens benefit from a dedicated encoder just as other non-language modalities do.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01