アーカイブ / VLM
探す人に伝わるスタンプ検索語をゲームで集める
Sticktionary / StickerQueries
Sticktionary / StickerQueriesの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Base VLM models are unable to understand and generate accurate sticker search queries, which requires depth and precision, oftentimes hallucinating. This persists in both English and Chinese languages.
概要
- Sticktionaryは、一人が検索語を作り、別の人が候補からスタンプを探すゲームで対応データを集める。
- StickerQueriesは英語と中国語の検索語を含む。英語の収録数は概要などと表3で1件食い違う。
- 著者らの英語のBM25検索評価では、追加学習後のLLaVAのRecall@1は0.180、追加学習前は0.153だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Sticktionary / StickerQueriesの仕組み
- 01会話付きスタンプ
- 02検索語を作成
- 03候補から特定
- 04人手で確認
- 05画像と語の組
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
スタンプを探すときの言葉は、絵に描かれた物の名前とは限らない。気持ちや皮肉、会話中の反応を短く表す語が使われるため、画像の見た目だけから検索語を作ると、利用者の意図とずれることがある。
著者らは、検索語と画像の対応を人手で集めるには労力がかかり、解釈にも個人差があると指摘する。検索に使えるデータを作るには、思い浮かべた語で別の人が同じスタンプを見つけられるかを確かめる必要がある。
手法
Sticktionaryでは、一人がスタンプを見て、自分なら検索欄に入れる語を考える。もう一人はその語を受け取り、候補から該当画像を最大三つ選んで順位を付ける。例えば、絵の物体名だけでなく「whatever」のような反応を表す語も対象になる。参加者は役割を交代し、検索結果を次の表現づくりに生かす。
対象は、20語以上の会話が先行する事例をU-Stickerから選び、手作業でも確認した。検索に成功した例を取り込み、失敗例は人が見直して不正確な語を除く。こうして得た画像と検索語の組をStickerQueriesとし、著者らは画像と言葉を扱うモデルLLaVAを追加学習した。検索評価には、語の一致を基に候補を順位付けするBM25を用いた。
新規性
著者らの提案は、一人がスタンプの検索語を作り、別の人がその語から画像を探すゲームを、検索語の収集と確認に使う点にある。検索の成否を、表現が相手に伝わるかを判断する手掛かりにする。
収集した検索語を英語と中国語で公開し、それぞれの言語でスタンプの使い方に沿った表現を扱う。著者らは、言語間の単純な翻訳では利用意図を十分に捉えられないと説明している。
従来手法との違い
検索実験の比較対象は、直前の発話を検索語にする方法、BLIP2の画像説明文、追加学習前のLLaVAが生成する検索語である。提案側は、収集した画像と検索語の組でLLaVAを追加学習する。
画像説明文は見た目を述べる一方、検索語には感情や反応も含まれる。比較結果が示す範囲は、英語・中国語のテスト分割、著者らが作成した候補群、BM25による検索という条件に限られる。
実験結果
著者らは、60人超が60時間超かけて収集したと報告する。収録数は英語が概要などで1,115件、表3で1,116組と食い違い、中国語は615件で一致する。データの80％を学習、20％をテストに分けた。
著者らのBM25検索評価で、追加学習後のLLaVAのRecall@1／@50は英語で0.180／0.680、追加学習前は0.153／0.644だった。中国語では0.041／0.455、追加学習前は0.016／0.423だった。Recall@Kは正解が上位K件に入る割合で、値は著者らがテスト用に作成した候補群での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内で使う接客用スタンプを、担当者が反応や気持ちを表す言葉で探せるようにする。担当者の検索文を入力し、候補画像を出力して、送信する一枚は担当者が選ぶ。
検討には、利用対象のスタンプ画像、使われた場面が分かる会話文、画像ごとに人が付ける検索語と正解画像の対応ラベルが要る。新たなセンサーは想定しない。社内固有の言い回しに合わせてデータを整え、検索語生成の追加学習が有効か確かめる案である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象のスタンプ画像と利用場面が分かる会話文を少数集める。担当者が画像ごとに検索語を付け、検索語と正解画像の対応をラベルとして記録する。画像と文面以外のセンサーは想定しない。
一部を評価用に分け、直前の発話をそのまま検索語にする方法を基準にする。残りの対応データで検索語生成モデルを追加学習し、同じ候補群と検索方法でRecall@1とRecall@50を比べる。誤検索を人が確認し、社内表現への適応に必要なラベル数を判断する。
限界と課題
著者らは、データセットの規模に限りがあると述べ、拡張による性能や頑健性の改善を今後の見通しとして挙げる。対応言語を増やすことと、スタンプ利用調査の回答者を増やすことも課題としている。
編集上の検証事項は、社内の言い回しでも検索語が通じるか、似たスタンプが多い場合に目的の画像を選べるか、会話文を扱う運用が適切かである。英語の収録件数は概要などで1,115件、表3で1,116組と食い違うため、件数の確認も必要になる。
出典
元のタイトル・要旨を確認する（英語）
Small Stickers, Big Meanings: A Multilingual Sticker Semantic Understanding Dataset with a Gamified Approach
Stickers, though small, are a highly condensed form of visual expression, ubiquitous across messaging platforms and embraced by diverse cultures, genders, and age groups. Despite their popularity, sticker retrieval remains an underexplored task due to the significant human effort and subjectivity involved in constructing high-quality sticker query datasets. Although large language models (LLMs) excel at general NLP tasks, they falter when confronted with the nuanced, intangible, and highly specific nature of sticker query generation. To address this challenge, we propose a threefold solution. First, we introduce Sticktionary, a gamified annotation framework designed to gather diverse, high-quality, and contextually resonant sticker queries. Second, we present StickerQueries, a multilingual sticker query dataset containing 1,115 English and 615 Chinese queries, annotated by over 60 contributors across 60+ hours. Lastly, Through extensive quantitative and qualitative evaluation, we demonstrate that our approach significantly enhances query generation quality, retrieval accuracy, and semantic understanding in the sticker domain. To support future research, we publicly release our multilingual dataset along with two fine-tuned query generation models.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01