アーカイブ / LLM
過去のレビュー本文を読むと、利用者の評価点を予測しやすくなるか
In-Context User Reviews for Rating Prediction
In-Context User Reviews for Rating Predictionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Illustration of the impact of in-context review data on LLM-based rating prediction performance. By leveraging rich, qualitative preference information from user reviews in the context, LLMs can more accurately infer a user’s preference for the target item, as demonstrated by the improved prediction from 1/5 to 5/5.
概要
- 過去の品目ごとのレビュー本文を加えると、八モデル・三データセットの全24組合せで順位相関が改善した。
- 映画でのo3は相関が0.147上昇しRMSEが13.0％低下した一方、本とレシピでは利用者平均に劣った。
- 仮のレビューを先に生成する指示は一部で有効だが、順位相関と点数誤差を別々に確認する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、In-Context User Reviews for Rating Predictionの仕組み
- 01対象品目の説明
- 02過去の点数とレビュー
- 03評価点を予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
推薦では「好きそうな品目を上位に並べる」だけでなく、利用者が何点を付けそうかを予測したい場面がある。点数を予測するには、利用者の採点傾向と品目への具体的な好みを同時に読む必要がある。
従来の行列分解法は、利用者と品目の評価履歴から数値的な特徴を学ぶ。履歴が乏しい新しい利用者や品目では扱いが難しくなるため、過去のレビューに書かれた理由を汎用モデルが利用できるかが実用上の論点になる。
手法
モデルには、対象品目の説明と、同じ利用者が過去の品目に付けた点数・レビューを渡す。たとえば映画の筋書きに対し、過去五作品への評価と「会話は好きだが結末は苦手」といったレビューを示し、対象映画への点数を出させる。追加学習をしない「既存モデル」の利用で、入力時に参考例を与える方法をインコンテキスト入力という。
比較用にはレビュー本文を外して点数だけを渡す。別の指示では、モデルに対象品目について利用者が書きそうな仮のレビューを先に作らせ、その後で点数を出させる。生成した文章から最終的な整数点を取り出し、実際の点数と比べる。仮のレビューは推測の途中結果であり、本人が書いたレビューではない。
新規性
既存の汎用大規模言語モデルに追加学習をせず、過去の品目ごとのレビュー本文を入力に加えたときの評価点予測を、八つのモデルと三つのデータセットで調べた点が研究の中心である。
単なる好みの要約との比較に加え、予測前に対象品目への仮のレビューを書かせる指示も検証した。点数の順位と数値誤差の双方を測り、改善する条件と改善しない条件を分けて報告している。
従来手法との違い
主な比較は、過去の品目説明と点数だけを示す入力と、そこに利用者自身のレビュー本文を加える入力である。さらに、過去の点数の平均、評価履歴から利用者と品目の特徴を学ぶ行列分解法とも比べた。
著者らは、品目を特定しない一般的な好みの文章も検討した。ただし、その文章は人が直接書いたものではなく、レビューからモデルが合成したものだ。レビュー本文を使う方法は映画では有利だった一方、本とレシピでは単純な利用者平均を下回った。
実験結果
著者らは映画のPer-MPST、レシピ、書籍の三データセットで八つのモデルを評価した。映画は過去五件を使う分割を採用し、レシピと書籍では各千件を抽出して過去五件と対象一件を構成した。指標は順位の一致を見るSpearman相関・Kendall相関と、点数誤差を見るRMSEである。
レビュー追加でSpearman相関は24のモデル・データセット組合せすべてで改善し、RMSEは21組合せで低下したと著者らは報告する。映画ではo3のSpearman相関が0.147上がり、RMSEが相対的に13.0％下がった。一方、本とレシピではレビュー付きモデルが利用者平均を下回り、仮のレビュー生成でもRMSEの改善は24組合せ中17にとどまった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：書籍を扱うサービスで、新しく登録された本への利用者の予想評価点を参考情報として出す。入力は本の題名・説明と、その利用者が過去の本に付けた点数とレビュー本文、出力は所定の尺度内の予想点である。
推薦画面へ直接反映する前に、担当者が予想点と既存の点数平均による予測を並べて確認する。過去のレビューが少ない利用者も含め、どの履歴量なら文章が助けになるかを分けて調べる。これは論文の評価結果をそのまま書籍サービスへ移せるという主張ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象サービスの過去データを時系列で分け、予測時点より前のレビュー五件と点数だけを入力する。点数のみ、点数とレビュー、点数とレビューに仮のレビュー生成を加える三条件を、利用者平均という基準と同じ対象群で比較する。
Spearman相関とRMSEを両方記録し、履歴件数、品目分野、高得点への偏りごとに結果を見る。整数点を取り出せなかった割合も含め、良い順位付けと小さい点数誤差が両立する条件だけを次の検証へ進める。
限界と課題
著者らは、本とレシピでは高得点に評価が偏り、レビューを使うモデルが利用者平均を下回ったと報告する。仮のレビューを先に書かせる方法も、順位相関を改善する場合に数値誤差が増える例がある。出力を整数点として読み取れない少数の例は指標の計算から除かれた。
編集上の確認点は、実際の利用者の短いレビューでも同様に働くか、新規利用者に必要な履歴数、予測点の校正、レビューを扱う際の同意である。今回の結果だけで、履歴が全くない場合の有効性までは確かめられない。
出典
元のタイトル・要旨を確認する（英語）
Enhancing Rating Prediction with Off-the-Shelf LLMs Using In-Context User Reviews
Personalizing the outputs of large language models (LLMs) to align with individual user preferences is an active research area. However, previous studies have mainly focused on classification or ranking tasks and have not considered Likert-scale rating prediction, a regression task that requires both language and mathematical reasoning to be solved effectively. This task has significant industrial applications, but the utilization of LLMs remains underexplored, particularly regarding the capabilities of off-the-shelf LLMs. This study investigates the performance of off-the-shelf LLMs on rating prediction, providing different in-context information. Through comprehensive experiments with eight models across three datasets, we demonstrate that user-written reviews significantly improve the rating prediction performance of LLMs. This result is comparable to traditional methods like matrix factorization, highlighting the potential of LLMs as a promising solution for the cold-start problem. We also find that the reviews for concrete items are more effective than general preference descriptions that are not based on any specific item. Furthermore, we discover that prompting LLMs to first generate a hypothetical review enhances the rating prediction performance. Our code is available at https://github.com/ynklab/rating-prediction-with-reviews.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-30