アーカイブ / LLM
短い検索語の意図分類：弱教師あり分類器とLLMの適合率・再現率を比べる
Short Query Intent Classification
Short Query Intent Classificationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. An example of clue-and-reasoning provided to LLaMA-3.1-8B-Instruct and LLaMA-3.1-70B-Instruct.
概要
- 短い検索語を情報・案内・取引に分類し、クリック先URLを使わない条件で弱教師あり分類器とLLMを比較した。
- ORCAS-I-goldの1,000件では、最良の追加学習設定のマクロ平均適合率・再現率・F1は0.743・0.813・0.769で、ORCAS-I分類器は0.865・0.701・0.743だった。
- 社内検索への応用には、社内語句の仮ラベルと人手で確認した評価ラベルを用意し、誤誘導や処理時間も測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Short Query Intent Classificationの仕組み
- 01短い検索語と仮ラベル
- 02件数別に抽出
- 038Bモデルを追加学習
- 04三つの意図を予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、短い検索語を利用者の目的に応じて「情報」「案内」「取引」に分ける。情報は知識の取得、案内は特定サイトへの移動、取引はサイト上のサービスの利用を指す。検索直後に目的を推定できれば、結果を選ぶ手がかりになる。
大量の検索語をすべて人手で分類するのは負担が大きい。著者らは、規則などから仮ラベルを作る弱教師あり分類器と、大規模言語モデル（LLM）を比較し、文脈の少ない語句でどの程度正しく分類できるかを調べた。
手法
追加学習の実験では、ORCAS-Iの仮ラベル付き検索語から、三つの意図が同数になるように3,000～60,000件を抽出した。LLaMA-3.1-8B-Instructの基礎部分を固定し、調整用の小さな重みだけを学習するLoRAを使って、検索語から意図を出すようにした。例えば「buy」は取引を示す手がかりとして使われるが、最終的には語句全体を三分類に当てはめる。
さらに、45,000件で学習したモデルの予測確信度を使って15,000件を選び、別の無作為例45,000件と合わせた。一方、追加学習をしない実験では8Bと70Bのモデルに意図の定義、キーワード、分類例などを指示文で渡した。指示文内の例を手がかりに予測する方法を文脈内学習という。
新規性
著者らは、短い検索語を情報・案内・取引に分ける同じ課題で、弱教師ありのORCAS-I分類器とLLMを比較した。いずれもクリック後に分かるURLを入力に使わず、検索語を送信した時点で利用できる情報に条件をそろえている。
LLMには、指示文だけで分類する方法と、ORCAS-Iの仮ラベルで追加学習する方法を適用した。後者では、無作為抽出した検索語に予測確信度の高い検索語を加え、件数と確信度のしきい値による結果の違いも調べた。
従来手法との違い
基準のORCAS-I分類器は、キーワードや品詞などに基づく規則で検索語に仮ラベルを付け、多数決で意図を決める。これは、誤りを含み得るラベルを利用する「弱教師あり」の方法である。本研究の比較では、基準分類器にもクリック先URLを渡さない。
LLM側は、意図の定義や分類例を指示文に入れる方法と、仮ラベル付き検索語で8Bモデルを追加学習する方法を試した。著者らの評価では、最良の追加学習設定は基準より再現率とF1が高い一方、適合率は低く、分類の誤り方が異なる。
実験結果
著者らは、ORCASの検索語から専門家が意図を付けたORCAS-I-goldの1,000件で評価した。三分類のマクロ平均は、各分類の指標を同じ重みで平均する方法である。検索語のみを使うORCAS-I分類器の適合率・再現率・F1は順に0.865・0.701・0.743だった。
8Bモデルを無作為の60,000件で追加学習すると0.730・0.812・0.757、45,000件と確信度0.88以上の15,000件を組み合わせると0.743・0.813・0.769だった。70Bモデルに定義とキーワードを渡す設定は0.692・0.703・0.693。著者らは、LLMの再現率が高い一方、適合率は基準に届かないと報告した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内検索窓に入った短い語句を、情報を読む、特定ページへ行く、サービスを利用する、という三つの意図の候補に分ける。入力は検索語、出力は意図候補と担当者が確認する対象であり、検索担当者が表示規則を調整する。分類結果だけで遷移先を確定しない運用を想定する。
元データには社内検索語の記録が必要で、追加学習するなら社内語句の仮ラベル、評価には人が確認した正解ラベルを用意する。センサーは不要である。略語や社内サービス名に合わせて分類例または規則を調整し、実際の検索で有用かを別途確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内検索語を集め、情報・案内・取引の正解ラベルを人が付けた評価用データを用意する。学習用には別の検索語と、社内用語に合わせた規則などから作る仮ラベルが必要になる。入力は検索語に限定し、センサーやクリック後の情報は使わない条件にそろえる。
まず社内用語に合わせた規則分類器を基準に置き、分類例を与えたLLMを同じ評価語句で比べる。仮ラベルが十分に集まれば追加学習も試す。三分類それぞれの適合率・再現率・F1、誤った行き先を示す件数、処理時間を測り、採用範囲を決める。
限界と課題
著者らは、短い検索語では意図が曖昧になりやすく、LLMは再現率が高くても適合率に課題が残ると述べる。無作為例を45,000件より増やすと性能向上がわずかに鈍り、弱いラベルに含まれる雑音を学んだ可能性を指摘した。最良設定の学習と高確信度例の選別にも計算時間を要した。
編集上の検証事項は、社内検索語の分布、仮ラベルの誤り、三分類で業務上の行き先を決められる範囲である。高い予測確信度も正解の保証ではないため、人が付けた評価ラベルで分類ごとの誤りと誤誘導を調べる必要がある。
出典
元のタイトル・要旨を確認する（英語）
In a Few Words: Comparing Weak Supervision and LLMs for Short Query Intent Classification
User intent classification is an important task in information retrieval. Previously, user intents were classified manually and automatically; the latter helped to avoid hand labelling of large datasets. Recent studies explored whether LLMs can reliably determine user intent. However, researchers have recognized the limitations of using generative LLMs for classification tasks. In this study, we empirically compare user intent classification into informational, navigational, and transactional categories, using weak supervision and LLMs. Specifically, we evaluate LLaMA-3.1-8B-Instruct and LLaMA-3.1-70B-Instruct for in-context learning and LLaMA-3.1-8B-Instruct for fine-tuning, comparing their performance to an established baseline classifier trained using weak supervision (ORCAS-I). Our results indicate that while LLMs outperform weak supervision in recall, they continue to struggle with precision, which shows the need for improved methods to balance both metrics effectively.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01