アーカイブ / VLM
画像の処理量を抑えて文章・画像を探す検索モデル
Magic-MM-Embedding
Magic-MM-Embeddingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Breaking the efficiency-performance trade-off for MLLM embedders for universal multimodal retrieval. (a) Standard MLLM-based embedders suffer from high computational costs due to processing redundant, dense visual token sequences. (b) We propose a visual token compression model paired with a robust three-stage progressive training strategy. (c) Comparisons on MMEB [ 35 ] demonstrate that our approach establishes a new state-of-the-art using much less visual tokens with reduced inference latency.
概要
- 画像特徴を縦横半分に縮め、言語モデルへ渡す視覚トークンを４分の１にする。
- 画像理解の再調整、検索用の対照学習、判定モデルが選んだ紛らわしい候補による調整の３段階で学習する。
- 著者らが報告したMMEB全体のPrecision@1は、1.9Bモデルで埋め込み検索のみ68.0、再順位付け込み70.2。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Magic-MM-Embeddingの仕組み
- 01文章・画像を入力
- 02画像特徴を縮小
- 03共通表現を生成
- 04類似度で候補提示
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Magic-MM-Embeddingは、文章、画像、その両方を含む入力を共通の数値表現に変え、関連する候補を探す手法である。この表現を「埋め込み」と呼び、関連する問い合わせと候補が近くなるよう学習する。
画像も扱う大規模言語モデルは、画像を細かく分けた情報を大量に処理する。検索で多数の候補を扱うと、１件ごとの計算量や応答時間が運用上の問題になるため、画像から渡す情報量を減らすことが課題となる。
手法
画像を読み取る部分が作った特徴の格子を、言語モデルへ渡す前に縦横それぞれ半分に縮める。問い合わせと候補をそれぞれ埋め込みに変え、その近さで候補を探す。例えば文章と図の画像を問い合わせとして受け取り、関連する文書画像を候補として返す。
学習は３段階で行う。まず画像と指示文から応答を作る学習で圧縮後の画像理解を整え、次に正解候補を近づけ、不正解候補を遠ざける対照学習を行う。最後に検索上位の候補を別の画像・言語モデルで判定し、紛らわしい不正解候補を使って埋め込みを調整する。候補を再順位付けするモデルも別途学習する。
新規性
画像特徴を言語モデルへ渡す前に双線形補間で縮小し、学習が必要な圧縮部品を加えずに視覚トークン数を４分の１にする。双線形補間とは、周囲の値を使って縮小後の値を計算する方法である。
著者らの提案は、この圧縮と３段階の学習を組み合わせた点にある。画像理解の再調整から検索用の学習へ進み、最後に別の画像・言語モデルが判定した紛らわしい候補を使って調整する。
従来手法との違い
一般的なMLLM型の検索モデルは、画像から得た多数の視覚トークンを言語モデルへ渡す。視覚トークンは画像の部分ごとに作られる情報の単位である。本手法は画像特徴の格子を縦横それぞれ半分にし、言語モデルへ渡す単位を４分の１に減らす。
MMEBの表にはVLM2VecやUniMEなどの結果が並ぶ。ただし基盤モデルや規模、再順位付けの有無が異なるため、得点差を圧縮だけの効果とは読めない。再順位付けは、最初に探した候補の順番を別のモデルで付け直す処理である。
実験結果
著者らは自然画像検索などを含むMMEBの36データセットで、最上位候補が正解する割合であるPrecision@1を報告した。全体の平均は、1.9Bモデルの埋め込み検索のみで68.0、再順位付け込みで70.2だった。同表のVLM2Vec-V1（2.2B）は59.3、UniME-V2（2.2B）の再順位付け込みは67.4で、モデルなどの条件は異なる。
視覚文書検索にはViDoRe v1・v2、VisRAGなどを用い、上位５件の順位を考慮するNDCG@5で評価すると記されている。確認できた本文の範囲では、その得点と推論時の応答時間の実測値を確認できず、精度と処理量の関係を数値で詳しく照合するには追加の結果が要る。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の図入り手順書から、問い合わせ文と現場写真に合うページを探す。入力は文と写真、出力は関連ページの候補一覧とし、担当者が原本を開いて作業条件を確認する流れを想定する。検索精度の改善は仮説として扱う。
検証には検索対象の手順書画像と本文、実際の問い合わせ、正解ページを示す対応ラベルが要る。写真を入力する場合は撮影手段も必要になる。社内用語や図の形式で精度を測り、必要に応じて追加学習するかを判断する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：図入り手順書の一部を対象に、文書画像と本文、実際の問い合わせ、正解ページのラベルを集める。写真を使うなら撮影手段を決め、写真付き問い合わせも用意する。社内用語や図の形式に合わせた追加学習が必要か、小規模な検証データで判断する。
現行のキーワード検索を比較基準にし、同じ問い合わせで最上位の正答率、上位候補に正解が含まれる割合、応答時間を測る。文字の小さい図面と一般的な写真を分けて集計し、圧縮後に必要な情報が失われていないか確認する。
限界と課題
著者らは、画像情報を圧縮した直後に通常の対照学習へ進むと、特徴の変化や情報損失によって性能が下がり得ると説明している。提示された結果は、３段階の学習と組み合わせたモデルについての報告である。
編集上の検証事項として、小さな文字や密な図表を含む文書の検索精度、誤った候補が上位に出る頻度、実際の応答時間を確認したい。確認できた本文の範囲では、視覚文書検索の得点と遅延の実測値を照合できず、社内文書への適用結果も示されていない。
出典
元のタイトル・要旨を確認する（英語）
Magic-MM-Embedding: Towards Visual-Token-Efficient Universal Multimodal Embedding with MLLMs
Multimodal Large Language Models (MLLMs) have shown immense promise in universal multimodal retrieval, which aims to find relevant items of various modalities for a given query. However, their practical application is often hindered by the substantial computational cost incurred from processing a large number of tokens from visual inputs. In this paper, we propose Magic-MM-Embedding, a series of novel models that achieve both high efficiency and state-of-the-art performance in universal multimodal embedding. Our approach is built on two synergistic pillars: (1) a highly efficient MLLM architecture incorporating visual token compression to drastically reduce inference latency and training time, and (2) a multi-stage progressive training strategy designed to not only recover but significantly boost performance. This coarse-to-fine training paradigm begins with extensive continued training to restore multimodal understanding and generation capabilities, progresses to large-scale contrastive pretraining and hard negative mining to enhance discriminative power, and culminates in a task-aware fine-tuning stage guided by an MLLM-as-a-Judge for precise data curation. Comprehensive experiments show that our model outperforms existing methods by a large margin while being more inference-efficient.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01