アーカイブ / LLM
商品説明を読む層と利用履歴を結ぶ層を分ける次商品推薦
HatLLM
HatLLMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . Illustration of LLM-based recommendation methods and their limitations in capturing cross-item correlations.
概要
- HatLLMは浅い層で商品内、中間層で全語、深い層で商品の最後の語同士を参照させる。
- 著者らはAmazonの三分野で評価し、各指標の最良比較手法に対する改善率を平均9.13％と報告した。
- ECサイトへの適用には、商品説明、時刻順の利用履歴、次に利用された商品の正解ラベルを用意し、同条件の基準手法と比較する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、HatLLMの仕組み
- 01時刻順の商品説明
- 02浅層で商品内を参照
- 03中層で全語を参照
- 04深層で商品間を参照
- 05次の商品予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
HatLLMは、過去に利用した商品の順序から次の商品を予測する「逐次推薦」を扱う。商品名などの文章を読める大規模言語モデルでも、履歴内の商品同士の行動上の関係を十分に捉えにくいと著者らは指摘する。
著者らが言語モデルを使う既存手法BIGRecを分析すると、異なる商品の語同士に向く注意の合計は、同じ商品内の語同士より弱かった。注意とは、ある語を処理するときに他の語の情報を参照する仕組みである。この偏りが次商品の予測に関わる。
手法
商品名などの説明文を利用順に並べ、次に利用される商品を予測する。「注意マスク」は、語がほかの語を参照できる範囲を定める設定だ。HatLLMは浅い層で異なる商品間の参照を遮り、まず各商品の説明を読む。中間層では通常の参照を保ち、商品をまたぐ語の関係も扱う。
深い層では各商品の最後の語を、商品間で情報を交わす代表として使う。例えば論文中の映画履歴なら、視聴した作品名を順に入力し、作品ごとの情報をまとめた後、作品間の関係を捉える。学習には履歴と次に利用された商品の組を使い、モデルの数値表現を候補商品に対応付けて予測する。
新規性
HatLLMは、一つの大規模言語モデルの層ごとに、語が参照できる範囲を変える。浅い層は商品内、中間層は通常の参照、深い層は商品間の関係を扱う設計である。
深い層で商品間の情報交換に使うのは、各商品の最後の語に限る。著者らは、この語が先行する語の情報を集めた商品表現として働き、説明文の長い商品への偏りも抑えられると説明する。
従来手法との違い
比較対象には、利用履歴を扱うSASRec、言語モデルを使うBIGRecやLLaRAなどが含まれる。既存手法の一部は、別の推薦モデルで作った商品表現を入力に加える。HatLLMは一つの言語モデル内で注意の範囲を変える。
著者らは言語モデルを使う比較手法について、商品説明を生成する方式と、モデルの数値表現を商品に対応付ける方式を試し、各手法の良い方を報告した。HatLLMは後者を採用している。
実験結果
著者らはAmazonのGames、Beauty、Clothingの三分野で評価した。利用記録が5件未満の利用者と商品を除き、長さ11の窓で履歴を分け、時刻順に訓練・検証・試験を8対1対1に分割した。指標は上位5件・10件に正解が入る割合のHRと、正解の順位を考慮するNDCGである。
主表ではLLaMA3-3Bを使用した。著者らは、各データと指標で最良の比較手法に対する改善率を平均9.13％と報告する。BeautyのHR@10はHatLLMが0.0406、同じ表で最良のLLaRAが0.0368だった。この結果の対象は、記載されたデータと分割条件である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ECサイトの推薦枠で、直近の利用履歴から次に表示する商品を選ぶ。入力は時刻順の商品利用記録と商品名などの説明文、出力は候補商品の順位付き一覧とする。実際の購買増加は未検証の仮説である。
対象サイトの過去の履歴と商品説明を学習に使い、各履歴の次に利用された商品を正解ラベルとする。追加センサーは想定しない。商品名の表記を整え、履歴の区切り方と候補商品への対応付けを対象サイトに合わせる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：商品説明と時刻付きの利用履歴を集め、各履歴の次に利用された商品を正解ラベルにする。追加センサーは使わない。対象サイトの商品表記を整え、履歴の区切り方と候補商品の対応付けを決め、時刻順に学習用と試験用を分ける。
同じ入力、候補集合、分割を使う通常の注意設定の言語モデルを基準に置き、HatLLMの層別マスクを適用した結果と比べる。HR@10、NDCG@10、推薦に要する時間を測る。説明文が欠けた商品や履歴の短い利用者も分けて確認する。
限界と課題
著者らは、深い層で同じ商品内の語同士の参照を単純に遮る案では、近くの商品の語に注意が集まり、性能が伸びない場合があると報告する。この観察を踏まえ、HatLLMは各商品の最後の語を商品間の参照に使う。
編集上の検証事項は、対象サイトの商品説明が短い場合や新商品を含む場合の精度、運用時の処理時間である。確認できた本文の範囲では、これらの条件での有効性や処理時間の実測値は判断できない。
出典
元のタイトル・要旨を確認する（英語）
HatLLM: Hierarchical Attention Masking for Enhanced Collaborative Modeling in LLM-based Recommendation
Recent years have witnessed a surge of research on leveraging large language models (LLMs) for sequential recommendation. LLMs have demonstrated remarkable potential in inferring users' nuanced preferences through fine-grained semantic reasoning. However, they also exhibit a notable limitation in effectively modeling collaborative signals, i.e., behavioral correlations inherent in users' historical interactions. Our empirical analysis further reveals that the attention mechanisms in LLMs tend to disproportionately focus on tokens within the same item, thereby impeding the capture of cross-item correlations. To address this limitation, we propose a novel hierarchical attention masking strategy for LLM-based recommendation, termed HatLLM. Specifically, in shallow layers, HatLLM masks attention between tokens from different items, facilitating intra-item semantic understanding; in contrast, in deep layers, HatLLM masks attention within items, thereby compelling the model to capture cross-item correlations. This progressive, layer-wise approach enables LLMs to jointly model both token-level and item-level dependencies. Extensive experiments on three real-world datasets demonstrate that HatLLM achieves significant performance gains (9.13% on average) over existing LLM-based methods.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01