アーカイブ / Computer Vision / VLM
言葉で対象を指定する物体検出、Grounding DINOの仕組みと検証点
Grounding DINO
Grounding DINOの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3 : The framework of Grounding DINO. We present the overall framework, a feature enhancer layer, and a decoder layer in block 1, block 2, and block 3, respectively.
概要
- 画像と文章から、対象物の枠と対応する語句を出力する。
- COCOの学習画像を使わない評価で、著者らは52.5 APを報告した。
- 低頻度カテゴリや属性が似た対象は、利用現場の写真で別途確かめたい。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Grounding DINOの仕組み
- 01画像と対象の文章
- 02画像・語句の特徴抽出
- 03言語で候補選択
- 04枠と対応語句を出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
通常の物体検出は、学習時に決めたカテゴリの名前を当てる設定が中心で、利用者が後から指定する対象や「赤い服の人」のような属性付きの表現を扱うには工夫が要る。点検写真や資料画像で探す物を毎回固定できない場合、言葉で対象を指定し、その位置を示せる仕組みが有用だ。
Grounding DINOは、画像と文章を一組で受け取り、文章中の語句に対応する物体を枠で示す検出器として提案された。
手法
入力は画像と、カテゴリ名を並べた文章、または「テーブルの上の猫」のような対象を指す文章である。画像と文章をそれぞれ数値的な特徴に変換し、特徴強化器で相互に参照させる。「特徴」とは、画素や語を比較しやすい形にした内部表現を指す。続いて、文章に関連する画像領域を、位置を調べる候補として選ぶ。
選ばれた候補は、画像と文章を再び参照する復号器に入り、物体を囲む枠と対応する語句を予測する。復号器は候補の位置と意味を段階的に絞る部分だ。たとえば入力文に「猫」と「テーブル」があれば、論文の例では各物体の枠と語句を組にして出す。対象を一つ指す課題では、最も得点の高い枠を使う。
新規性
著者らの主張する進展は、DINOを基に、画像と言語の情報を特徴の強化、候補の選択、位置の絞り込みという三つの段階で結び付けた点にある。入力文の語句を、検出した物体の位置と対応させて出力する。
さらに、新しい物体カテゴリを探す評価に加え、色や位置などの属性を含む表現から対象を探す「参照表現理解」も評価対象に据えた。検出器が自由な言い回しを扱えるかを確かめるための拡張である。
従来手法との違い
基となるDINOは、あらかじめ定めたカテゴリの物体検出を中心に設計されている。論文が挙げるGLIPは特徴強化の段階、OV-DETRは検出候補を作る段階で言語を取り込む。Grounding DINOは両段階に加え、最終的な位置予測の段階でも画像と言語を結び付ける。
同条件の比較では、COCOへの学習なし転移でDINOを0.5 AP、GLIPを1.8 AP上回ったと著者らは報告する。ただし、モデルの規模や事前学習データを変えた行同士の数値は、方式だけの差として読めない。
実験結果
著者らは、COCO・LVIS・ODinWの物体検出とRefCOCO系の参照表現理解を評価した。APは検出枠の位置と分類を総合する指標で、COCOの学習画像を使わない転移ではGrounding DINO Lが52.5 AP、ODinWのゼロショット設定では平均26.1 APと報告する。ゼロショットは、その評価用データで追加学習せずに試す条件である。
三つの融合部を外す分析では、Swin-T、Objects365学習のCOCO minivalで完全版46.7 APに対し、特徴強化の融合を外すと45.8 APだった。数値は著者らの実験条件に限られる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：設備点検写真から、担当者が「配管の下にある赤い弁」のように対象を文章で指定し、候補領域を画像上の枠として返す補助画面を試す。入力は写真と指定文、出力は対応する語句、枠の位置、確認待ちの候補一覧とする。
担当者は枠が対象を正しく囲むかを確認し、点検記録に採用する。自由な表現を扱うという論文の設計に沿った案だが、設備写真での精度や安全上の適否は論文からは分からない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の名称や属性表現を含む点検写真を少量集め、担当者が正しい枠を付けた評価用の組を作る。同じ写真で、固定カテゴリ名だけによる検索を基準とし、文章指定によって目的の対象を見つけやすくなるかを比べる。
対象が複数ある例、小さい物体、似た属性の物体を分けて、枠の重なり、見逃し、誤選択を記録する。担当者が一件を確認する時間も測り、候補提示が作業を助ける条件を見極める。
限界と課題
著者らは、LVISでは一般的な物体に比べ、出現頻度の低いカテゴリでGLIPに劣る場合があると報告し、900個の検出候補という設計が影響する可能性を述べる。また、参照表現理解の評価では、COCOとRefCOCO系の画像の重なりによるデータ漏れの可能性を表に注記している。
編集上の確認点は、現場固有の名称、属性が似た複数物体、小さな対象で枠が安定するかである。公開ベンチマークのAPを、そのまま点検写真の正答率と見なすことはできない。
出典
元のタイトル・要旨を確認する（英語）
Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection
In this paper, we present an open-set object detector, called Grounding DINO, by marrying Transformer-based detector DINO with grounded pre-training, which can detect arbitrary objects with human inputs such as category names or referring expressions. The key solution of open-set object detection is introducing language to a closed-set detector for open-set concept generalization. To effectively fuse language and vision modalities, we conceptually divide a closed-set detector into three phases and propose a tight fusion solution, which includes a feature enhancer, a language-guided query selection, and a cross-modality decoder for cross-modality fusion. While previous works mainly evaluate open-set object detection on novel categories, we propose to also perform evaluations on referring expression comprehension for objects specified with attributes. Grounding DINO performs remarkably well on all three settings, including benchmarks on COCO, LVIS, ODinW, and RefCOCO/+/g. Grounding DINO achieves a $52.5$ AP on the COCO detection zero-shot transfer benchmark, i.e., without any training data from COCO. It sets a new record on the ODinW zero-shot benchmark with a mean $26.1$ AP. Code will be available at \url{https://github.com/IDEA-Research/GroundingDINO}.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29