アーカイブ / VLM
既存の画像・文書検索モデルで部分ごとの一致を採点するSMART
SMART
SMARTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Standard single-vector embedding models (Qwen3-VL-Embedding-8B in this figure) compress sequences into single token representations, which often results in losing local information and underutilizing the remaining hidden states. While existing multi-vector approaches require expensive retraining, SMART reveals that the hidden states of single-vector embedders are already geometrically aligned for local matching. SMART thus transforms any single-vector model into a multi-vector variant both during inference and via lightweight post-training , the former significantly improving with no training, and the latter allowing us to save time and rival SoTA multi-vector embedders.
概要
- SMARTは学習済みの単一ベクトル検索モデルから各部分の表現を再利用し、全体と部分の一致を合わせて採点する。
- 著者らのMMEB-V2評価では、Qwen3-VL-Embedding-8Bの全タスク平均が78.83から79.34になった。
- 局所対応を問う人工的な実験では、部分照合のみの正解率56.8％に対し、全体スコアを加えると42.6％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SMARTの仕組み
- 01検索文と候補
- 02最終層の部分表現
- 03部分と全体の採点
- 04候補の順位
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SMARTは、画像や文書を探す際に、ページ全体の似かよりに加えて各部分の一致も採点する方法である。従来の検索モデルは、入力全体を一つのベクトル、つまり数値の並びにまとめて比べることが多い。その過程で小さな文字や図形の手掛かりが順位に反映されにくくなる。
例えば図表では、指定したコードと印が両方あるだけでは正解といえない。どのコードがどの印に対応するかが検索の決め手になるため、部分的な情報を使えるかが重要になる。
手法
SMARTは検索文と候補を学習済みモデルに通し、各部分に対応する最終層の「隠れ状態」を使う。隠れ状態とは、文中の語や画像の一部分をモデル内部で表す数値列である。余白用の部分と全体を代表する部分を除き、検索文の各部分について候補側で最も似た部分を探して、その類似度を平均する。
この採点をMaxSimと呼ぶ。モデルの最後に部分同士を照合するため、「後段照合」ともいう。SMARTはその点数を、入力全体を一つのベクトルで比べた従来の点数に足して候補を並べる。例えばコードと赤い三角印を指定する検索でも部分ごとの一致を参照するが、この採点だけで両者の対応を必ず見分けられるわけではない。
新規性
SMARTは、単一ベクトルで検索するために学習済みのモデルから、各部分の最終層の隠れ状態を取り出して照合する。基本形ではモデルを追加学習せず、従来の全体スコアも残す。
著者らは、全体を表すベクトルへの学習信号が、その計算に関わる隠れ状態にも伝わると説明する。モデルを固定して小さな変換層だけを学習する形と、モデル自体を追加学習する形も示した。
従来手法との違い
基準となる単一ベクトル検索は、問い合わせと候補をそれぞれ一つの数値列にまとめ、その類似度で順位を決める。SMARTの基本形は同じモデルの出力から部分ごとの表現を再利用し、全体と部分のスコアを足す。
論文では、複数ベクトル検索モデルのColpaliとjina-embeddings-v4も比較対象にした。ただし、優劣は評価条件ごとに読む必要がある。局所的な組み合わせだけを問う人工的な実験では、全体スコアを足すと部分照合のみの場合より正解率が下がった。
実験結果
著者らはMMEB-V2の画像・視覚文書・動画検索で基本形を評価した。画像と動画にはRecall@1、視覚文書にはNDCG@5を用いた。Qwen3-VL-Embedding-8Bでは、表に示された全タスク平均が78.83から79.34になった。この平均には異なる指標が含まれ、単一の正解率ではない。
別の人工的な実験では、40組の図表から作った1,000件の問い合わせごとに、正解と紛らわしい文書を二者択一した。著者らの報告する正解率は、Qwen3-VL-Embedding-2Bの単一ベクトル採点で31.9％、部分照合のみで56.8％、両者を足す採点で42.6％だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：図表を含む社内報告書から、指定した部品コードと警告印が対応するページを探す。担当者の検索文と報告書のページ画像を入力し、候補ページの順位付き一覧を出力する。上位候補の対応関係は担当者が確認する。
基本形に新たな学習データは要らないが、元となる学習済みの単一ベクトル検索モデルと検索対象のページ画像が必要になる。検証には、正しい組み合わせのページと、同じ要素を含むが組み合わせが違うページへの人手のラベルが要る。現場センサーは想定せず、順位付けを既存の検索手順に組み込む案である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：既存の学習済み単一ベクトル検索モデルと社内報告書のページ画像を用意する。検索文ごとに正解ページを人手でラベル付けし、同じコードや印を含むが対応関係が違うページも候補に入れる。基本形の導入に新たな学習データは不要だが、この評価用ラベルは必要である。
現行の単一ベクトル順位を基準とし、同じ候補にSMARTの採点を適用して比べる。正解が最上位に出る割合、紛らわしいページを上位に置く件数、検索時間と保存量を測る。入力は検索文とページ画像で、追加の現場センサーは想定しない。
限界と課題
著者らの人工的な局所対応実験では、部分照合のみの正解率56.8％に対し、全体スコアを加えた採点は42.6％だった。著者らは、正解と不正解の文書が同じ要素を持つため、全体の類似度が判断を妨げ得ると説明している。この結果を通常の文書検索全般に当てはめることはできない。
編集上の検証事項は、候補ごとに複数の表現を保存する量、検索時間、文字と図形の対応を取り違える頻度である。確認できた本文の範囲では、提案した社内報告書の業務でこれらを測った結果は示されていない。
出典
元のタイトル・要旨を確認する（英語）
Your Embedding Model is SMARTer Than You Think
Multimodal retrieval relies heavily on single-vector retrievers, which compress rich, sequential token sequences into one single global representation. While efficient, they discard fine-grained, local evidence critical for dense retrieval tasks. Multi-vector approaches were introduced as a solution, but they strictly require training and many ignore the necessity of a globally summarizing representation. To address this, we introduce SMART, a framework that unlocks the latent multi-vector capabilities of standard single-vector models. We first demonstrate that standard contrastive training on the pooled embedding implicitly shapes the retrieval geometry of preceding hidden states via gradient flow. By applying direct late-interaction over these frozen hidden states during inference, SMART acts as a plug-and-play upgrade that consistently improves performance across diverse modalities, improving even the state-of-the-art models further on MMEB-V2. We also reveal SMART's superior performance, as simple lightweight post-training not only saves time and compute, but also brings forth further improvement on Visual Document retrieval, allowing a single-vector model to outperform SoTA multi-vector counterparts. Ultimately, SMART offers both a highly efficient inference enhancement and a powerful finetuning technique for multimodal retrieval. We open source our code and weights at https://github.com/HanSolo9682/SMART.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01