アーカイブ / LLM
端末内の個人モデルと利用者グループの共有モデルを組み合わせる推薦手法MRFF
MRFF
MRFFの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The framework of MRFF. The right side illustrates the workflow of our method. Each client trains a lightweight foundation model using personal data. In the transformer layers of the local model, we propose a multifaceted user modeling mechanism to enhance user personalization, with details summarized on the left side. Specifically, we introduce a group gating network after the attention module to direct users to specific FFNs, alongside the user-specific FFN, for forward propagation. During iterative optimization between the server and clients, clients maintain user embeddings and user-specific FFN as private modules to learn user-level personalization. For other parameters, the server aggregates them either globally or by group.
概要
- MRFFは、行動履歴からクリック確率を予測し、Transformerの各層で個人用とグループ用の計算を組み合わせる。
- 利用者の履歴と個人用の重みを端末に置き、共有する重みを全体またはグループごとに集約する。
- 著者らのKuaiRand-Pureでの評価では、FedSASRecへのMRFF追加後、AUCは0.7297から0.7315、LogLossは0.5181から0.4953に変化した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MRFFの仕組み
- 01履歴・候補を表現
- 02注意機構で履歴集約
- 03ゲートで群を選択
- 04個人・群別FFNを合成
- 05クリック確率を算出
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MRFFは、利用者の過去の行動順序を使い、次の候補項目がクリックされる確率を予測する。利用者には複数の関心があり、全員に同じ共有モデルを使うと、個人ごとの違いを十分に表しにくい。
推薦モデルの学習に利用履歴を中央へ集めることには、個人情報の扱いという課題もある。この研究は履歴を各端末に置き、個人固有の傾向と似た利用者に共通する傾向を併せて学ぶことを狙う。
手法
端末で行動履歴の各項目を数値の表現に変え、順序の情報とともにTransformerへ入れる。Transformerの注意機構は、履歴中の項目どうしの関係を重み付けして集約する仕組みだ。例えば動画の視聴順序を入力し、候補動画の予測に使う履歴の表現を作る。
各層では、注意機構の出力と利用者の表現を受けたゲートがグループを選ぶ。続いて、FFNと呼ぶ特徴変換の計算部分を個人用と選ばれたグループ用の両方で実行し、結果を合わせる。最後に利用者・候補項目・履歴の表現からクリック確率を出す。学習時は個人用の重みを端末に残し、ほかの重みを全体またはグループごとに集約する。
新規性
MRFFは、Transformerの各層に個人用とグループ用の計算部分を置き、注意機構の出力と利用者の表現から、その層で使うグループを選ぶ。層ごとに異なる粒度の関心を捉える設計である。
個人用の重みは端末に残し、グループ用の重みは所属グループごとに集約する。著者らは、端末で小型モデルを一から学習する連合型の推薦手法として提案している。
従来手法との違い
比較対象は、行動順序を扱うFedSASRec、FedHSTU、FedLLaMAと、順序を扱わないFedNCF、FedPAである。連合学習とは、利用者の生データを中央に集めず、各端末で学習したモデルの情報を集約する方法をいう。
表では、三つの系列モデルそれぞれにMRFFを組み込む前後を比較している。この比較で確認できるのは、同じ土台のモデルに個人用とグループ用の計算を加えた場合の変化であり、実サービスでの効果を直接示すものではない。
実験結果
著者らはKuaiRand-Pure、KuaiSAR-R、KuaiSAR-Sのクリック率予測を評価した。分割方法はleave-one-outで、指標は順位付けを見るAUCと予測の誤差を見るLogLoss。系列モデルの層数は２、通信は500ラウンドとし、５回の実験の平均を報告している。
KuaiRand-PureのFedSASRecにMRFFを加えると、著者らの表ではAUCが0.7297から0.7315、LogLossが0.5181から0.4953へ変化した。両指標には、元のモデルとの差が統計的に有意であることを示す印がある。同じデータのFedLLaMAではAUCが0.7302から0.7311だが、その指標には同じ印がない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：動画配信サービスで、次に表示する候補動画がクリックされる確率を予測する。入力は利用者の視聴・クリック順序、利用者と候補動画の識別情報や属性とし、出力を候補ごとの予測確率とする。
学習には、過去の表示と行動の履歴、表示後にクリックしたかを示すラベルが要る。追加センサーは想定せず、既存データの属性を入力表現に合わせ、利用者グループ数を調整する。実サービスでの有効性は未検証の応用案である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：動画の表示・行動履歴を利用者単位に分け、履歴の順序、候補動画、クリック有無のラベルを用意する。追加センサーは使わない。動画の識別情報や属性をモデルの入力表現に合わせ、同じデータ分割でMRFFなしの系列推薦モデルを基準として測る。
次に個人用とグループ用の重みを分けて学習し、グループ数を調整する。AUCとLogLossを基準モデルと比較し、送信する重みの量と端末上の予測時間も測る。精度の変化と運用負担を同じ条件で確認する。
限界と課題
著者らは、大規模な事前学習モデルを端末で使う計算負担と、全利用者に同じモデルを使う場合の個人化不足を課題として挙げる。また、グループ数を増やすとモデルの複雑さと重みの数が増えると述べている。
編集上の検証事項は、端末に残す重みと送信する重みの境界、通信量、端末上の予測時間である。著者らは送信する重みへの雑音付加も評価しているが、実際の利用者データからの情報推測をどの程度防げるかは、導入先の条件で別途確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Multifaceted User Modeling in Recommendation: A Federated Foundation Models Approach
Multifaceted user modeling aims to uncover fine-grained patterns and learn representations from user data, revealing their diverse interests and characteristics, such as profile, preference, and personality. Recent studies on foundation model-based recommendation have emphasized the Transformer architecture's remarkable ability to capture complex, non-linear user-item interaction relationships. This paper aims to advance foundation model-based recommendersystems by introducing enhancements to multifaceted user modeling capabilities. We propose a novel Transformer layer designed specifically for recommendation, using the self-attention mechanism to capture sequential user-item interaction patterns. Specifically, we design a group gating network to identify user groups, enabling hierarchical discovery across different layers, thereby capturing the multifaceted nature of user interests through multiple Transformer layers. Furthermore, to broaden the data scope and further enhance multifaceted user modeling, we extend the framework to a federated setting, enabling the use of private datasets while ensuring privacy. Experimental validations on benchmark datasets demonstrate the superior performance of our proposed method. Code is available.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01