アーカイブ / LLM
商品広告の候補検索を、検索結果の不足に応じて切り替えるSMART
SMART
概要
- 全利用者に履歴由来の語句でBM25検索を行い、結果の不足に応じてLLMの語句によるANN検索を追加する。
- 著者らのオフライン評価では、利用者の10％に追加検索するとCatRecall@200は56.0％から56.6％、Relevance Scoreは1.95から2.36になった。
- Snapでの２週間のA/B試験では、既存の埋め込みモデルによる検索に対し、広告コンバージョン率が相対値で27.6％上がったと報告された。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SMARTの仕組み
- 01購買行動の履歴
- 02履歴語句で商品検索
- 03結果の不足を判定
- 04必要時に意味検索
- 05広告候補
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SMARTは、商品広告の候補を数千万件規模の商品群から探す方法である。広告では、以前見たブランドやカテゴリを再提示することと、関心に合いそうな新しいカテゴリを見つけることの両方が求められる。
大規模言語モデル（LLM）は履歴から新しい検索語を作れるが、全利用者への呼び出しには費用がかかる。また、生成した言い換えは、商品情報との語の一致を重視する検索では使いにくい場合がある。
手法
SMARTは、閲覧・カート追加・購入の履歴から、ブランド名と商品カテゴリ名を使った検索語を作り、全利用者についてBM25で商品を探す。例えばランニングシューズの購入履歴があれば、そのブランド名とカテゴリ名を組み合わせる。次に軽量な判定器が、検索結果のカテゴリが履歴上の関心をどれだけ覆うかなどを調べる。
不足が大きいと判定された利用者には、LLMを一度呼び出して新しいカテゴリを探す語句を三つ作り、ANNで追加検索する。ANNは商品の意味を表す数値の近さから候補を素早く探す方式である。両経路の候補をまとめて順位付けし、配信中の広告商品に対応する候補を渡す。
新規性
SMARTの主張は、安価な語句検索の結果を見てから、追加の意味検索が必要な利用者を選ぶ点にある。判定器は履歴だけでなく、見つかった商品の種類や件数、履歴上の関心が結果にどれだけ含まれるかを使う。
既知のブランドやカテゴリの再提示には履歴由来の語句とBM25を使い、新しいカテゴリの探索にはLLMが作る語句とANNを使う。著者らは、検索語と検索方式の組み合わせを分けて比較した。
従来手法との違い
比較の基準は、履歴から作ったブランド名やカテゴリ名をBM25で検索する方式である。BM25は、検索語と商品情報に含まれる語の一致を重視する。著者らの比較では、この組み合わせが購入カテゴリを候補に含める指標で最も高かった。
LLMの語句をBM25に使うと、その指標は低下した。一方、LLMの語句とANNの組み合わせは、履歴との意味上の関連度を測る別の指標で最も高かった。SMARTは前者を全利用者に実行し、後者の追加を判定器で絞る。
実験結果
著者らは複数国の本番ログから２万人超を抽出し、前日までの履歴で上位200商品を検索した。CatRecall@200は翌日に購入された商品カテゴリのうち候補に現れた割合で、語句検索のみが56.0％、利用者の10％に追加検索を行うSMARTが56.6％だった。
上位10商品の履歴との関連をLLMが０～３で採点するRelevance Scoreは、同じ比較で1.95から2.36になった。LLMの相対費用は全員に追加検索する条件の１割と報告された。Snapでの２週間のオンラインA/B試験では、既存の埋め込みモデルによる検索を基準に、広告コンバージョン率が相対値で27.6％上がったと著者らは報告している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：複数カテゴリの商品を扱う通販サイトで、広告候補の商品一覧を作る。閲覧・カート追加・購入の履歴から語句を作って検索し、結果が履歴上の関心分野を十分に覆わない利用者だけ、LLMの語句で候補を追加する。
必要なのは、商品と時刻を結び付けた行動履歴、ブランドとカテゴリを持つ商品台帳、評価用の購入カテゴリラベルである。専用センサーは想定せず、自社の商品分類と広告対象商品への対応を調整する。効果は自社データで確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：時刻付きの閲覧・カート追加・購入履歴と、ブランド・カテゴリを持つ商品台帳を用意する。翌日の購入カテゴリを評価ラベルとし、自社の分類名に合わせて履歴から検索語を作る。専用センサーは想定せず、語句検索のみを基準方式にする。
判定器の学習には、両検索経路を走らせたときの購入カテゴリの差を示すラベルも必要になる。検索結果の不足を特徴として判定器を調整し、CatRecall@200、候補の関連度、LLM呼び出し率、応答時間を基準方式と比較する。配信中の広告商品だけが最終候補に残ることも確認する。
限界と課題
著者らは、LLMの語句をBM25に使うと購入カテゴリの再提示が弱まること、全利用者にLLM検索を追加すると費用が増え、候補の混入で有用な商品が押し出され得ることを示した。全員に追加した条件では、再順位付け後もCatRecall@200が基準を下回った。
編集上の検証事項は、別の商品分類や履歴でも判定器が働くか、履歴の少ない利用者で候補が偏らないかである。確認できた本文の範囲では、オンライン試験の利用者構成や長期の効果は確認できない。
出典
元のタイトル・要旨を確認する（英語）
SMART: LLM-Augmented Hybrid Retrieval for Dynamic Product Ads
Dynamic Product Ads (DPA) require retrieving relevant items from multi-million product catalogs, balancing two competing objectives: retargeting (re-surfacing known interests) and prospecting (discovering new categories). While Large Language Models (LLMs) capture semantic intent better than traditional embedding models, deploying them at scale introduces prohibitive inference costs and lexical mismatch issues. Through controlled experiments on millions of users, we demonstrate a critical retrieval decomposition: rule-generated queries excel at retargeting on a lexical BM25 index, while LLM-generated queries excel at prospecting on a dense ANN index. Building on this, we propose SMART (SeMantic-aware Adaptive ReTrieval). To manage costs, a lightweight quality gate identifies coverage gaps in initial keyword results, adaptively routing only the ~10% of users who benefit from semantic prospecting to the LLM path. Offline evaluation demonstrates that this gated approach captures the bulk of semantic prospecting gains in Relevance Score while maintaining competitive re-targeting performance at a 90% reduction in LLM costs. Finally, in a 2-week online A/B test at Snap, SMART improved the ad conversion rate by +27.6% over a strong embedding-based baseline.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01