アーカイブ / LLM
口コミに投稿者と店舗の平均評価を添えると、星評価の予測はどう変わるか
Reference Points in LLM Sentiment Analysis
概要
- 口コミに投稿者・店舗の平均評価と店舗属性をJSONで添え、追加学習なしの30億パラメータモデルで星評価を予測した。
- Yelpの英語口コミ各500件で、全情報を使うJSON条件のMacro-F1はRestaurantが0.612、Nightlifeが0.635で、補足情報なしの同じモデルを上回った。
- 著者は単一モデルと二カテゴリに評価が限られ、推論時間とメモリー使用量を実測していないと述べている。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Reference Points in LLM Sentiment Analysisの仕組み
- 01口コミと平均評価
- 02補足情報をJSON化
- 03Llamaに入力
- 04星数を予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
口コミの感情判定は文章だけを入力にすることが多い。しかし同じ体験でも、投稿者が普段付ける星数や店への事前の期待は、評価を読み解く手掛かりになり得る。本文だけでは、そうした基準となる情報をモデルに渡せない。
店舗が持つ過去の評価や属性を加えるなら、どの情報が役立つかに加え、どう書いて渡すかも確かめる必要がある。本研究は、口コミから星評価を予測する課題で、その内容と提示形式を比較した。
手法
口コミ本文の後に、投稿者が過去に付けた星数の平均、店舗が受けた星数の平均、店舗名や営業時間などを添える。JSONは項目名と値を組にして記す形式で、二種類の平均評価を区別して渡せる。Llama 3.2の30億パラメータの指示調整済みモデルに、回答例を一つ示して星数を予測させる。追加学習は行わない。
例えば料理と待ち時間の両方に触れる口コミなら、その本文と二種類の平均評価を別項目にして入力し、予測星数を得る。著者は同じ補足情報を自然文で示す方式や、平均評価だけ、店舗属性だけを渡す方式も比較した。平均評価は、星数を判断する際に参照し得る基準点として扱う。
新規性
著者の主張は、口コミ本文に投稿者と店舗の平均評価、店舗属性を添え、項目名と値を組にするJSON形式で示すと、追加学習なしの小型言語モデルによる星評価予測が改善する点にある。
情報の組み合わせと提示形式を分けて比較し、平均評価が正解の星数を単に代用している可能性も調べた。ただし、この分析は顧客の心理的な評価過程を直接実証するものではない。
従来手法との違い
基準は、補足情報を与えず口コミだけを読む同じ言語モデルである。投稿者の平均評価、店舗の平均評価、店舗属性を組み合わせ、同じ情報を自然文またはJSONで示した条件も比べた。
別の基準として、追加の学習データで調整したBERT、DistilBERT、RoBERTa、DeBERTaを用いた。両カテゴリで全情報を使うJSON条件が最良だった。一方、自然文形式では情報を増やしても一貫した改善は見られなかった。
実験結果
著者はYelpの英語口コミからRestaurantとNightlifeを選び、各500件で評価した。投稿者と店舗の重複を避け、追加学習する比較モデルには別の1000件を使った。指標は、各星数の分類結果を均等に見るMacro-F1と、星数の誤差を表すRMSEである。
全情報をJSONで渡した条件のMacro-F1は順に0.612、0.635、RMSEは0.564、0.597だった。補足情報なしの同じモデルはMacro-F1が0.587、0.526、RMSEが0.675、0.709。Nightlifeの比較モデル中で最良のRoBERTaはMacro-F1が0.625、RMSEが0.657だった。著者は平均評価と正解星数の差による分析も行い、平均に近い投稿だけで精度が高まる傾向は確認していない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：飲食店の口コミを担当者が確認する際、予測した星数と投稿時の星数が食い違う投稿を一覧にする。入力は口コミ本文、投稿前に分かる投稿者の過去の平均評価、店舗の平均評価、利用できる店舗属性とし、出力に予測星数と差を示す。
元になる過去評価と店舗属性の取得、項目名の調整が必要になる。追加学習用データは想定せず、評価用の正解ラベルには実際の星数を使う。新しいセンサーは想定しない。担当者の確認に役立つかは、この用途で検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：既存データから口コミ本文、投稿者の過去の星評価、店舗への星評価、店舗属性をそろえ、投稿時の星数を評価用の正解ラベルにする。追加学習用データは必須とせず、回答例を一つ用意する。新しいセンサーは想定せず、欠損項目とJSONの項目名を現場の記録に合わせる。
投稿者と店舗が重ならない評価用データで、口コミだけを読む方式を基準に、JSONで補足情報を渡す方式を比べる。Macro-F1、RMSE、平均評価と正解が離れた投稿の誤り、処理時間を記録する。平均評価には対象投稿や評価時点より後の星数を入れない。
限界と課題
著者が明記した限界は、顧客の心理的な評価過程を直接検証していないこと、試した言語モデルが一種類であること、対象がYelpの英語口コミの二カテゴリに限られることだ。提示形式ごとの推論時間とメモリー使用量も実測していない。
編集上の検証事項として、日本語や別業種で結果が再現するか、過去評価がない投稿者をどう扱うかがある。店舗平均の算出に対象投稿の星数や評価時点より後の情報が混ざらないか、入力項目を増やした際の処理時間も確認したい。
出典
元のタイトル・要旨を確認する（英語）
Reference Points in LLM Sentiment Analysis: The Role of Structured Context
Large language models (LLMs) are now widely used across many fields, including marketing research. Sentiment analysis, in particular, helps firms understand consumer preferences. While most NLP studies classify sentiment from review text alone, marketing theories, such as prospect theory and expectation--disconfirmation theory, point out that customer evaluations are shaped not only by the actual experience but also by additional reference points. This study therefore investigates how the content and format of such supplementary information affect sentiment analysis using LLMs. We compare natural language (NL) and JSON-formatted prompts using a lightweight 3B parameter model suitable for practical marketing applications. Experiments on two Yelp categories (Restaurant and Nightlife) show that the JSON prompt with additional information outperforms all baselines without fine-tuning: Macro-F1 rises by 1.6% and 4% while RMSE falls by 16% and 9.1%, respectively, making it deployable in resource-constrained edge devices. Furthermore, a follow-up analysis confirms that performance gains stem from genuine contextual reasoning rather than label proxying. This work demonstrates that structured prompting can enable smaller models to achieve competitive performance, offering a practical alternative to large-scale model deployment.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01