アーカイブ / Computer Vision
画像だけから汎用的な特徴を学ぶDINOv2、データ選別と大規模学習の効果
DINOv2
DINOv2の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Visualization of the first PCA components. We compute a PCA between the patches of the images from the same column (a, b, c and d) and show their first 3 components. Each component is matched to a different color channel. Same parts are matched between related images despite changes of pose, style or even objects. Background is removed by thresholding the first PCA component.
概要
- 画像の類似性による選別を経て、1億4200万枚の学習集合LVD-142Mを構築した。
- 同条件のデータ比較では、未整理画像での学習よりImageNet-1k分類とOxford-M画像検索の値が高かった。
- 画像全体と小領域の特徴を学び、大きなモデルから小型モデルへの知識蒸留も行った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DINOv2の仕組み
- 01選別した画像群
- 02自己教師あり学習
- 03画像特徴を抽出
- 04用途別に利用
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像の分類や領域分割には、用途ごとに画像へラベルを付けてモデルを調整する方法が多い。ラベル作成が難しい場合、画像をそのまま数値表現に変換し、複数の作業へ流用できれば導入の手間を減らせる。
自己教師あり学習は、人が正解ラベルを付けず、画像そのものから学習課題を作る方法である。著者らは、この方法を大規模に使う際、画像数だけでなく、重複や内容の偏りを抑えたデータの質が重要だと考えた。
手法
まず、整理済み画像と未整理画像を数値表現に変え、重複を除いたうえで、見た目が近い画像を検索して学習集合を作る。近さには画像表現間のコサイン類似度を用い、クラスタリングで内容の偏りも調整する。ここで作られた1億4200万枚の集合がLVD-142Mである。
学習時には、同じ画像の異なる切り出しから得た画像全体の特徴を近づけ、一部を隠した小領域の特徴も予測する。こうして得た視覚モデルは、入力画像を特徴量に変える。例えば部品写真なら、出力された特徴量を保存写真と比較して似た候補を探せる。小型モデルは大きなモデルの出力を手本にする知識蒸留で作る。
新規性
DINOv2の要点は、画像に説明文や分類ラベルを付けずに学ぶ自己教師あり学習を、選別した大規模データへ拡張したことだ。画像の類似性で未整理の画像群を整理し、LVD-142Mという1億4200万枚の学習集合を構築した。
画像全体と小領域の両方を学ぶ目的、学習を安定・高速化する実装、大きなモデルから小さなモデルへの知識蒸留を組み合わせた。単一の新しい損失関数だけを提案した研究ではない。
従来手法との違い
比較の中心は、未整理の大量画像、ImageNet-22k、選別したLVD-142Mで同じ規模のモデルを学習する条件だ。著者らの表では、LVD-142MはImageNet-1kの分類でImageNet-22kと近く、別の画像分布や画像検索では上回る項目がある。
従来のiBOTを再現した学習設定との比較では、複数の改良を順に追加した。最後の設定はImageNet-1kの近傍検索による分類で82.0％、再現したiBOTは74.5％だった。改良はデータ、学習手順、実装にまたがるため、差を一つの要素だけに帰せない。
実験結果
著者らは、同じ反復回数で学習したViT-g/14のデータ比較を報告した。LVD-142Mと未整理の1億4200万枚を比べると、ImageNet-1kの分類は85.8％対83.3％、Oxford-Mの画像検索は64.6対54.3だった。一方、ADE-20kの領域分割は47.7対48.5で、全項目で選別データが勝ったわけではない。
学習手順の比較では、ViT-LargeのImageNet-1k近傍検索による分類が、再現したiBOTの74.5％から82.0％になった。著者らは実装について、同じハードウェアでiBOT実装のおよそ2倍の速度、3分の1のメモリ使用量と報告する。各値は異なる比較条件の結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製造現場で撮影した部品写真の類似画像検索に使う。入力は、担当者が確認したい部品の写真。DINOv2から特徴量と呼ぶ画像の数値表現を取り出し、保存済み写真の特徴量と比べて近い候補を表示する。
出力は候補写真と、その写真に付いた既存の管理番号の一覧とする。担当者が形状や撮影条件を見比べて採否を決める。論文はこの製造用途を検証していないため、検索候補の質は手元の写真で確認する必要がある。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：部品写真を少数の既知グループに分け、撮影条件の異なる写真を検索用と照合用に分離する。DINOv2の特徴量による類似検索を、現在の手作業検索または既存の画像検索と同じ候補数で比べる。
正しい管理番号が上位候補に入る割合、担当者が候補を確認する時間、似た形の別部品を誤って選ぶ件数を記録する。角度、照明、傷の有無で結果を分ければ、どの条件に追加の画像や調整が必要か判断しやすい。
限界と課題
著者らは、画像検索に効く調整と小領域の予測に効く調整が異なることを実験で示している。また、画像全体の分類と領域ごとの分割を同じ特徴量で一律に高精度化できるとは主張していない。高解像度での学習は計算量を増やすため、終盤だけ解像度を上げる設計を採った。
導入時の確認事項は、手元の画像が学習時の画像とどれだけ異なるか、撮影角度や傷・欠けを識別できるかである。研究の公開ベンチマークの順位は、個別現場での検索精度を保証しない。
出典
元のタイトル・要旨を確認する（英語）
DINOv2: Learning Robust Visual Features without Supervision
The recent breakthroughs in natural language processing for model pretraining on large quantities of data have opened the way for similar foundation models in computer vision. These models could greatly simplify the use of images in any system by producing all-purpose visual features, i.e., features that work across image distributions and tasks without finetuning. This work shows that existing pretraining methods, especially self-supervised methods, can produce such features if trained on enough curated data from diverse sources. We revisit existing approaches and combine different techniques to scale our pretraining in terms of data and model size. Most of the technical contributions aim at accelerating and stabilizing the training at scale. In terms of data, we propose an automatic pipeline to build a dedicated, diverse, and curated image dataset instead of uncurated data, as typically done in the self-supervised literature. In terms of models, we train a ViT model (Dosovitskiy et al., 2020) with 1B parameters and distill it into a series of smaller models that surpass the best available all-purpose features, OpenCLIP (Ilharco et al., 2021) on most of the benchmarks at image and pixel levels.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29