アーカイブ / LLM / VLM
料理画像を文章に変えると次の飲食店を予測しやすくなるか――東京の訪問履歴による検証
Multimodal Point-of-Interest Recommendation
Multimodal Point-of-Interest Recommendationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Dataset preparation
概要
- 著者らは、東京の飲食店訪問履歴を用い、料理画像から生成した説明文を店舗属性に加えて次の訪問先を予測した。
- 説明文あり／なしのRecall@50は0.0123／0.0048だった。比較したのは同じRecformerの入力条件である。
- 料理画像は店舗カテゴリに基づいて無作為に割り当てられており、実店舗の写真を使った場合の品質は検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Multimodal Point-of-Interest Recommendationの仕組み
- 01東京の訪問履歴と料理画像
- 02写真を料理説明文に変換
- 03店舗属性と履歴を学習
- 04次の候補店を順位付け
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
本研究は、過去の訪問順序と店舗の情報から、次に訪れる飲食店を予測する。地点推薦では店の種類に加えて場所が重要で、遠方の店を高く順位付けしても利用者に役立つとは限らない。
著者らは、料理写真を文章に変えて店舗属性へ加えると予測が変わるかを調べた。実験には訪問履歴、店舗の位置とカテゴリ、別の画像集から割り当てた料理写真を使っている。
手法
Foursquareの東京の訪問記録から飲食関連の店舗を選び、FoodX-251の料理画像をカテゴリに合わせて割り当てる。各店舗に割り当てた8枚をLLaVAで一枚ずつ短い文章にし、LLaMAで店舗ごとの説明文にまとめる。画像と実店舗の料理は直接対応していない。
店舗名・カテゴリ・地理キー・料理説明文を文章属性としてRecformerへ渡し、利用者の訪問順序を学習する。地理キーは自治体名と、地表を六角形の区域で表すH3の識別子を組み合わせたものだ。予測時は履歴の最後の訪問先を伏せ、モデルが作る次の店の数値表現と各候補店の数値表現の近さで順位を付ける。
新規性
著者らは、地点推薦を訪問履歴に基づく順序予測として扱い、店舗の文章属性に料理画像から生成した説明文を加えた。さらに、自治体名とH3の区域識別子を組み合わせ、店舗の場所を表す「地理キー」を導入した。
画像を推薦モデルに直接入力する構成ではない。画像を文章に変換してからRecformerへ渡す「半マルチモーダル」な構成を、説明文の有無で比較した。
従来手法との違い
比較対象は、料理画像の説明文だけを除いたRecformerである。Recformerは店舗の属性を文章として読み、過去に訪れた店舗の順序から次の訪問先を予測する推薦モデルを指す。
両条件には店舗カテゴリ、店舗名、地理キーが入り、Places APIから得た店舗関連の短い分類語も含まれる。報告された差は、この設定で説明文を加えた効果を示す。地理キー単独の効果や、別方式の推薦モデルに対する優位性を測った比較ではない。
実験結果
著者らが報告する最終データは、東京の2,092人による111,801件の訪問記録と28,989店舗である。利用者が学習用と評価用で重ならないよう分割し、約80％を学習に使った。評価では各履歴の最後の訪問先を予測した。
説明文あり／なしの順に、Recall@10は0.0049／0、Recall@50は0.0123／0.0048、nDCG@50は0.0032／0.0011だった。Recall@50は上位50候補に正解が入る割合を表す。これらは著者らのデータと分割条件での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：飲食店検索サービスで、利用者の過去の訪問から次に訪れる店の候補を並べる。入力には利用者ID・訪問時刻・店舗IDの履歴、店舗カテゴリ・位置・店名、各店舗で実際に提供する料理の写真を使い、出力は順位付きの店舗候補とする。
学習時の正解ラベルは履歴中の次の訪問先とする。写真と店舗の対応を確認して説明文を作り、対象地域の住所から地理キーを整える適応が必要だ。追加センサーは想定しない。実店舗の写真でも予測が改善するかは、別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象地域について、利用者ID・訪問時刻・店舗IDの履歴、店舗カテゴリ・位置・店名、店舗との対応が確認できる料理写真を集める。正解ラベルは履歴中の次の訪問先とし、写真から作った説明文を店舗属性に結び付ける。追加センサーは使わない。
利用者が重ならないよう学習用と評価用に分け、同じ候補集合で説明文なしを基準に比較する。Recall@10とRecall@50、候補が想定地域内にある割合、写真説明と実際の料理の一致率を測る。地理キーは対象地域の住所と店舗分布に合わせて作る。
限界と課題
著者らは、他の店舗カテゴリへの拡張と、訪問間隔や時間帯などの時間情報を加えることを今後の課題に挙げる。また実験では、料理画像を店舗カテゴリに応じて無作為に割り当てた。画像は各店で実際に提供された料理を示すものではない。
編集上の検証事項として、実店舗の写真から作った説明文がメニューと一致するか、地理キーを使っても利用者が行ける範囲の候補を返せるかを確かめたい。報告されたRecall@10は説明文ありでも0.0049であり、実サービスでの品質はこの値だけでは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Multimodal Point-of-Interest Recommendation
Large Language Models are applied to recommendation tasks such as items to buy and news articles to read. Point of Interest is quite a new area to sequential recommendation based on language representations of multimodal datasets. As a first step to prove our concepts, we focused on restaurant recommendation based on each user's past visit history. When choosing a next restaurant to visit, a user would consider genre and location of the venue and, if available, pictures of dishes served there. We created a pseudo restaurant check-in history dataset from the Foursquare dataset and the FoodX-251 dataset by converting pictures into text descriptions with a multimodal model called LLaVA, and used a language-based sequential recommendation framework named Recformer proposed in 2023. A model trained on this semi-multimodal dataset has outperformed another model trained on the same dataset without picture descriptions. This suggests that this semi-multimodal model reflects actual human behaviours and that our path to a multimodal recommendation model is in the right direction.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01