アーカイブ / Generative AI
推薦の順位付けで重複する計算を減らすMaRI：ユーザー特徴の行列積を一度にまとめる
MaRI
MaRIの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. The proposed Matrix Re-parameterized Inference (MaRI) vs. Baseline Paradigms (Vanilla, User-Side One-Shot)
概要
- MaRIは、推薦モデルの特徴統合で候補ごとに繰り返すユーザー側の行列積を一度にまとめる。
- GCAで置換候補を検出し、特徴と重みを再配置して推論時の行列積を組み替える。
- 著者らのオンラインA/B試験ではUOI比でモデル推論が平均1.32倍に高速化し、業務指標に統計的な有意差はなかった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MaRIの仕組み
- 01利用者と候補の特徴
- 02対象の行列積を検出
- 03特徴と重みを再配置
- 04利用者分を一括計算
- 05候補別スコア
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
推薦の順位付けモデルは、一人の利用者に対する多数の候補へ予測スコアを付ける。候補を早期に絞る粗順位付けでは処理時間の制約が厳しく、精度を保ちながら推論の計算を減らすことが課題になる。
入力には利用者、候補商品、両者の関係を示す特徴が含まれる。同じ利用者の候補をまとめて採点すると、共通する利用者側の特徴まで候補ごとに計算される箇所があり、MaRIはその重複を対象にする。
手法
MaRIは、特徴を結合して重みの行列を掛ける処理を、利用者、候補、両者の関係に対応する三つの計算へ分ける。行列積とは、特徴の値と学習済みの重みを組み合わせる計算である。例えば一人の利用者に複数の配信候補を採点する場合、利用者分は一度だけ計算し、その結果を候補ごとの計算結果に加える。元の行列積と数学的に等価な処理である。
適用時はGCA（グラフ彩色アルゴリズム）が、処理のつながりを表す計算グラフで特徴の由来を色分けし、置換できる行列積を探す。次に入り交じった特徴と対応する重みを種類ごとに並べ替え、小さな行列積への細分化を避ける。検出した箇所の推論処理を置き換え、各候補の予測スコアにつなげる。
新規性
MaRIは、学習手順を変えずに、推論時の特徴統合に使う行列積を数学的に等価な形へ組み替える。同じユーザーに属する候補群では、ユーザー側の計算を一度だけ実行できる。
計算グラフ上で特徴の由来を追うGCAも提案した。著者らは、当初手作業で見つけた層に加え、別の置換候補もGCAで発見したと報告する。
従来手法との違い
通常の推論（VanI）は、候補の数だけユーザー特徴を複製する。ユーザー側を一括処理する既存方式UOIは複製を遅らせるが、ユーザー、候補、両者の関係を示す特徴を結合した後の行列積には重複が残る。
MaRIは、その行列積を特徴の種類ごとに分け、ユーザー分を一度だけ計算する。著者らは軽量モデル設計や知識蒸留を既存の高速化手法として挙げるが、ここで示されたオンラインの速度比較対象はUOIである。
実験結果
著者らは実データの一部を使ったオフライン試験で、候補数や特徴の次元を変え、各設定を100回実行した。候補数500以上では元の行列積に対する実行時間の高速化が1.1倍以上と報告する。一方、特徴を大きさ50の小片に分けた条件では、元の行列積より遅延が69.4％増えた。
2025年6月21～24日の快手と快手LiteのオンラインA/B試験では、MaRI群とUOI群へ全利用者の各5％を割り当てた。著者らの表ではモデル推論が平均1.32倍、P99で1.26倍に高速化し、粗順位付けの遅延は快手で2.24％、快手Liteで2.27％減少した。業務指標に統計的な有意差はなく、全面導入後の同段階の推論資源は5.9％減った。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ライブ配信の粗順位付けで、同一利用者に提示する複数の配信候補を採点する既存モデルにMaRIを試す。入力は利用者の履歴、候補の属性、利用者と候補の関係を示す特徴とし、出力は候補ごとの予測スコアとする。
必要な学習元データは現行モデルに使う利用・反応ログ、ラベルはクリックや長時間視聴など現行の予測対象に合わせる。センサー由来の特徴を使う場合はその入力も特定し、特徴と重みの対応を保って推論式を変更する。効果は運用環境で確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：現行モデルの利用者、候補、関係特徴と重みの対応表を作る。GCAで検出した行列積を一箇所だけ置き換え、同じ入力でUOIを基準に候補別スコアの一致、候補数別の推論時間、粗順位付けの遅延を測る。
検証用データには現行の利用・反応ログを使い、ラベルは現行モデルが学習に使うクリックや視聴などの行動に合わせる。センサー入力を使うモデルならその特徴の由来も確認する。特徴と重みを対応させて再配置し、業務指標は対照群を設けて比較する。
限界と課題
著者らは、特徴が細かく入り交じった配置のままでは小さな行列積が多数生じ、効率が落ちると報告する。初期実験ではオンラインのUOI基準より推論性能が約38.8％低下した。候補側の計算を別の処理へ移す案も述べるが、帯域幅の制約で実装していない。
編集上の検証事項は、対象モデルに置換できる行列積があるか、特徴と重みの並べ替え後も候補別スコアが一致するかである。オンライン試験の業務指標に有意差がなかったという報告も、別のモデルや配信条件での結果を保証しない。
出典
元のタイトル・要旨を確認する（英語）
MaRI: Accelerating Ranking Model Inference via Structural Re-parameterization in Large Scale Recommendation System
Ranking models, i.e., coarse-ranking and fine-ranking models, serve as core components in large-scale recommendation systems, responsible for scoring massive item candidates based on user preferences. To meet the stringent latency requirements of online serving, structural lightweighting or knowledge distillation techniques are commonly employed for ranking model acceleration. However, these approaches typically lead to a non-negligible drop in accuracy. Notably, the angle of lossless acceleration by optimizing feature fusion matrix multiplication, particularly through structural reparameterization, remains underexplored. In this paper, we propose MaRI, a novel Matrix Re-parameterized Inference framework, which serves as a complementary approach to existing techniques while accelerating ranking model inference without any accuracy loss. MaRI is motivated by the observation that user-side computation is redundant in feature fusion matrix multiplication, and we therefore adopt the philosophy of structural reparameterization to alleviate such redundancy.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01