アーカイブ / LLM
実際の入力途中を記録したAmazonQAC：検索候補は履歴でどこまで改善するか
AmazonQAC
概要
- 実際に打たれた途中入力、最終検索語、セッションID、時刻を含む約3億9555万件のデータセット。
- 後の期間から取った試験2万件で、文脈を使う追加学習済みモデルのSuccess@10は37.0％だった。
- 米国の買い物検索に由来するため、別の検索サービスでは入力行動と性能を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AmazonQACの仕組み
- 01実際の途中入力
- 02検索履歴を付与
- 03候補を生成・順位付け
- 04検索語候補10件
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AmazonQACは、検索窓で文字を打つ途中に候補を出すクエリ自動補完のためのデータセットである。候補に意図した検索語が現れれば入力を省けるが、実際の途中入力と最終的な検索語を結び付けた公開データは限られていた。
完成した語から途中入力を作る方法では、打ち間違いの修正や語の置き換えを再現しにくい。実際の入力経過を使い、候補生成方法を比較できるようにした。
手法
各記録には、実際に打たれた途中入力の列、最終的な検索語、検索セッションのIDと時刻が入る。候補生成時には、現在の途中入力に、使う方式に応じて同じセッション内の過去の検索を加える。例えば「sink r」から「sink rack for bottom of sink」を候補に挙げる課題として扱う。
著者らは人気順のプレフィックス木、意味の近さを使う検索、大規模言語モデルを基準方式として評価した。追加学習したモデルには過去の途中入力と検索語の組を学ばせる。評価時は一つの途中入力ごとに候補を返し、正解語が上位10件に入るかを調べる。
新規性
AmazonQACの中心は、完成した検索語だけでなく、利用者が実際に打った途中の文字列の列、セッションID、時刻を結び付けた大規模データである。セッションは連続した検索をまとめる単位で、前の検索を候補作成に使える。
著者らは、文字の削除や修正を含む入力経過と、入力文字列で始まらない検索語への移行も観察した。完成語から機械的に途中の文字列を作るデータでは捉えにくい行動を評価できる。
従来手法との違い
基準の一つは、入力文字列で始まる検索語を木構造で探し、人気順に並べるプレフィックス木である。著者らは、意味の近い語を探す検索との組み合わせ、追加学習していない大規模言語モデル、検索履歴を使う場合と使わない場合の追加学習済みモデルも比較した。
試験データの24.1％では、最終的な入力文字列が採用された検索語の先頭と一致しない。そのため、文字の続きだけを探す方式では拾えない事例がある。
実験結果
著者らが公開した主データは約3億9555万件で、実際の途中入力を約42億8043万件含む。試験集合は学習期間より後の2023年10月1～14日から抽出した2万件である。Success@10は意図した検索語が上位10件に入る割合、MRR@10はその順位も反映する指標だ。
試験集合では、プレフィックス木のSuccess@10は25.3％、文脈を使う追加学習済みMistral-7Bは37.0％、MRR@10は0.23だった。著者らは、1時間以内の履歴がある場合などに仮定を置き、Success@10の参考上限を69.8％と推計した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の商品検索で、入力中の文字列と同じ検索セッション内の直前の検索語を受け取り、候補を最大10件返す。例えば部品名を探した後の短い入力に対し、その直前の検索を文脈として候補の順序を調整する。
画面には従来の候補と同じ位置に表示し、選ばれた語と入力が省けた文字数を記録する。AmazonQACの数値をそのまま社内検索の成果予測には使わない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：自社検索の記録から、途中入力、採用した検索語、同一セッション内の直前の検索を扱える範囲で集める。古い期間で候補方式を作り、新しい期間を評価に回す。人気順のプレフィックス木を基準にする。
文脈あり・なしでSuccess@10、MRR@10、応答時間を比較する。入力文字列と採用語の先頭が一致しない事例を別集計し、候補が利用者の選択を妨げていないかも確認する。
限界と課題
著者らは、個人情報への配慮による除外で検索セッションを完全には復元できないと述べる。データは米国のAmazonの買い物検索に由来し、言語や文化、検索目的が異なる場面への一般化にも注意を求めている。
編集上の確認課題は、対象サービスの入力修正率や文脈の長さが同じか、候補を出すまでの時間が許容範囲かである。69.8％という上限値は著者らの仮定に基づく試験集合上の推計で、普遍的な到達限界ではない。
出典
元のタイトル・要旨を確認する（英語）
AmazonQAC: A Large-Scale, Naturalistic Query Autocomplete Dataset
Query Autocomplete (QAC) is a critical feature in modern search engines, facilitating user interaction by predicting search queries based on input prefixes. Despite its widespread adoption, the absence of large-scale, realistic datasets has hindered advancements in QAC system development. This paper addresses this gap by introducing AmazonQAC, a new QAC dataset sourced from Amazon Search logs, comprising 395M samples. The dataset includes actual sequences of user-typed prefixes leading to final search terms, as well as session IDs and timestamps that support modeling the context-dependent aspects of QAC. We assess Prefix Trees, semantic retrieval, and Large Language Models (LLMs) with and without finetuning. We find that finetuned LLMs perform best, particularly when incorporating contextual information. However, even our best system achieves only half of what we calculate is theoretically possible on our test data, which implies QAC is a challenging problem that is far from solved with existing systems. This contribution aims to stimulate further research on QAC systems to better serve user needs in diverse environments. We open-source this data on Hugging Face at https://huggingface.co/datasets/amazon/AmazonQAC.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-30