アーカイブ / VLM / Computer Vision
代表画像と文章を組み合わせて探す画像検索、その評価データの作り方
Entity Image and Mixed-Modal Image Retrieval Datasets
概要
- EIはWikipedia上の対象に代表画像を対応付け、MMIRはその画像と対象名を伏せた文章から元画像を探す課題を作る。
- 著者らの表4では、MMIRの画像＋文章から画像を探す課題で、Recall@1は事前学習のみ7.32、MMIRで追加学習した条件で13.17だった。
- 実務利用には代表画像、検索対象の写真と説明文、共通する対象のラベルを用意し、文章だけの検索と同じ候補群で比べる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Entity Image and Mixed-Modal Image Retrieval Datasetsの仕組み
- 01WITの画像と説明文
- 02共通の対象を抽出
- 03対象名を画像参照に置換
- 04元画像を検索
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
人物や場所の名前だけでは、探したい写真の場面まで指定しにくい。対象の代表画像を示し、何をしているか、ほかの対象とどう関わるかを文章で添えて探す場合には、画像と文章の両方を手掛かりにする検索が要る。
この能力を測るには、組み合わせた問いと正解画像の組が必要になる。著者らは、複数の対象の関係まで指定する検索を評価するため、Wikipediaの代表画像とWITの画像・文章の組から新たなデータセットを構築した。
手法
まずEIでは、Wikipedia上の人物や場所などについて、対象を示す代表画像を一枚選ぶ。画像の大きさと利用条件で候補を絞り、画像認識サービスがその対象を写すと判定した画像を残す。重複をまとめた後、判定の確信度と記事内の掲載位置を使って選ぶ。確信度は、その判定をサービスがどの程度確からしいと見積もったかを示す値である。
次にMMIRでは、WITにある画像と説明文の双方から対象を抽出し、両方に現れ、かつEIに代表画像がある対象だけを残す。説明文中の対象名を、対応する代表画像を指す記号に置き換え、代表画像と文章を問い、元のWIT画像を正解画像にする。たとえば人物の代表画像と、その人の行動を述べる文章を合わせ、場面に合う写真を探す形である。
新規性
著者らは、Wikipedia上の対象に代表画像を対応付けるEIと、代表画像と文章を組み合わせた検索課題を作るMMIRを提示した。対象が一つの問いではその状態や行動を、複数の問いでは対象間の関係を文章で指定する。
正解画像に写る対象を代表画像で示し、対象名を伏せた文章から場面を読み取らせる構成である。画像だけ、文章だけの手掛かりを扱う既存の検索評価とは、問いに必要な情報の与え方が異なる。
従来手法との違い
著者らが挙げる既存の評価には、画像と文章の検索用データセットであるFlickr30kやMS COCOがある。Fashion200Kは画像と文章を組み合わせる関連例だが、論文は対象領域がファッションに限られる点を指摘する。
表4のMMIR評価では、MMIRで追加学習した条件の成績がCC3Mで追加学習した条件を上回る。一方、Flickr30kとMS COCOでは、MMIRの後にCC3Mで学習した条件とCC3Mのみの条件がおおむね近い値だった。この比較は記載されたモデルと評価条件に限られる。
実験結果
著者らは、事前学習モデルをそのまま使う条件と、MMIR、CC3M、両データで追加学習した条件を、MMIR、Flickr30k、MS COCOで比較した。Recall@1は正解が検索結果の先頭に入る割合である。表4のMMIR「画像＋文章から画像」では、事前学習のみ7.32、MMIRで追加学習13.17、CC3Mで追加学習5.83と報告する。
人手評価では、EIの英語例680件とMMIRの英語例約2,350件を無作為抽出し、各例を5人が評価した。著者らによると、「Good」または「Excellent」が多数評価となった割合は、EIの代表画像と対象の一致で97％超、MMIRの画像参照付き文章と元の説明文の整合で81％超だった。実務写真での検索精度を測った値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：博物館の写真台帳で、展示物の代表画像と「この展示物の前で説明する人物」という文章から、該当する所蔵写真の候補を返す。担当者が候補を見て、台帳の記録と照合する流れを想定する。
必要な元データは検索対象の写真、説明文、展示物の代表画像である。写真と説明文に共通する展示物を対応付けたラベルも要る。既存写真を使う範囲では追加センサーは不要だが、館内の名称を代表画像へ結び付け、検索モデルを対象データに合わせて調整する必要がある。効果は未検証の応用案である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：写真台帳から対象を少数選び、検索対象の写真、説明文、代表画像をそろえる。担当者が写真と説明文に共通する対象のラベルを付け、対象名を画像参照に置き換えた問いと正解写真を用意する。既存写真を使う範囲では追加センサーは不要である。
文章だけで探す方法を比較基準にし、同じ候補写真群で正解が先頭や上位数件に入る割合と、担当者の確認時間を測る。館内固有の名称と代表画像の対応付けを行い、必要なら検索モデルを調整する。対象が一つの問いと複数の問いを分け、各条件の結果を確認する。
限界と課題
著者らは、EIとMMIRがWikipediaのある時点のデータから作られており、後から対象や画像が追加・変更・削除されたり、説明文の内容が古くなったりするため、データの更新が必要だと述べる。
編集上の検証事項として、博物館の写真でも代表画像が対象を見分ける手掛かりになるか、対象名を伏せた文章が関係を十分に伝えるかを確かめたい。また、本文はMMIRを「9,900万件超」と記すが、表2の学習・検証・テストの件数は合計約916万件で整合しない。総件数は確認できた本文の範囲では確定できない。
出典
元のタイトル・要旨を確認する（英語）
Entity Image and Mixed-Modal Image Retrieval Datasets
Despite advances in multimodal learning, challenging benchmarks for mixed-modal image retrieval that combines visual and textual information are lacking. This paper introduces a novel benchmark to rigorously evaluate image retrieval that demands deep cross-modal contextual understanding. We present two new datasets: the Entity Image Dataset (EI), providing canonical images for Wikipedia entities, and the Mixed-Modal Image Retrieval Dataset (MMIR), derived from the WIT dataset. The MMIR benchmark features two challenging query types requiring models to ground textual descriptions in the context of provided visual entities: single entity-image queries (one entity image with descriptive text) and multi-entity-image queries (multiple entity images with relational text). We empirically validate the benchmark's utility as both a training corpus and an evaluation set for mixed-modal retrieval. The quality of both datasets is further affirmed through crowd-sourced human annotations. The datasets are accessible through the GitHub page: https://github.com/google-research-datasets/wit-retrieval.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01