新着研究 / Computer Vision
DINOv2の内部トークンを解析、意味の集約と背景特徴の役割を比較
ViT Token Role Analysis
ViT Token Role Analysisの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) Register-only SAE features.
概要
- レジスタートークンと大きなノルムを持つパッチトークンの活性を、疎な特徴へ分解して分析する。
- レジスター側は高次の意味、外れ値側は構造・背景・テクスチャに関連する傾向を報告する。
- 上位活性特徴を乱す実験では、表現のコサイン類似度の低下が48.17%と0.31%に分かれた。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ViT Token Role Analysisの仕組み
- 01DINOv2の内部活性
- 02疎な特徴への分解
- 03意味と構造の分析
- 04特徴を乱した影響測定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、自己教師あり視覚モデルDINOv2の内部で、異なる種類のトークンが何を担うかを調べる。Vision Transformerは画像を小さな区画に分けたパッチの表現を扱うが、内部表現の役割は十分に分かっていない。
背景部分に値の大きい外れ値トークンが現れることがあり、それを減らすため画像区画に対応しない専用レジスタートークンを加える構成が使われる。両者が同じ情報を持つのか、異なる機能へ分かれるのかが研究の焦点である。
手法
レジスターと外れ値パッチの活性に疎なオートエンコーダーを学習する。これは少数の特徴だけが働く表現へ分解し、複雑な活性を調べやすくする手法である。自動解釈、似た特徴をまとめるUMAP、画像と言語を比較するCLIP空間での確認を組み合わせる。
意味の関連を観察するだけでなく、強く反応する特徴を乱す介入実験も行う。例えば特定の内容に関連する特徴を変更したとき、元の画像表現からどれだけ離れるかを測る。特徴と概念の対応、似た特徴の集まり、変更した際の機能的影響を別々の手掛かりとして利用する。
新規性
レジスター導入で外れ値が減るという現象に加え、両トークンの意味と機能の違いを調べた点が中心である。特徴を分解した解釈と、特徴を乱した際の影響を合わせて評価する。
レジスター側が高次の意味に関連し、外れ値側が背景や質感のような低次のパターンに関連する傾向を示す。単に活性が大きいことから重要性を決めない分析になっている。
従来手法との違い
同じDINOv2内の二種類のトークンから得た特徴を比較する。レジスター由来の特徴は意味的な概念との関連が強く、外れ値由来の特徴は構造、背景、テクスチャに関連する場合が多いと報告される。
介入の影響も大きく異なる。ただし画像表現の変化が大きいことは、すべての下流課題で性能が同じ割合だけ落ちることを意味しない。トークンの機能的な違いを示す結果として読む必要がある。
実験結果
上位活性のレジスター由来特徴を乱すと、表現のコサイン類似度が48.17%低下し、外れ値由来特徴では0.31%の低下だったと報告する。コサイン類似度は表現ベクトルの方向がどれだけ似ているかを測る指標である。
自動解釈、UMAPによる特徴の集約、CLIP空間での照合、介入実験が相補的な分析となる。ここで確認した記述からは画像分類や検出の精度低下率は確定できず、類似度の低下を認識精度へ置き換えて説明しない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案として、画像検索モデルが背景に引きずられる原因を調べる開発用の分析画面を考える。入力は画像と内部活性、出力は意味に関係する特徴と背景・質感に関係する特徴の候補である。
担当者が対象物と背景を変えた画像を比較し、どの特徴が検索結果を変えるかを点検する。解析はモデル改良の手掛かりとし、特徴に付けた説明をそのまま確定した因果関係として表示しない構成にする。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、同じ対象物に背景だけが異なる小さな画像集合を用意する。元の画像表現を基準に、二種類のトークンから抽出した特徴を比較し、介入後の検索や認識の変化を測る。
表現の類似度、正しい対象を検索できる割合、背景を変えた際の安定性を併記する。自動解釈された概念を人がサンプル確認し、特徴の学習条件や介入の強さを変えても傾向が再現するかを確認する。
限界と課題
著者らの結果は自己教師ありViTのトークン機能に関する証拠であり、すべての視覚モデルで同じ役割分担が成立するとは限らない。疎な特徴への分解や自動解釈にも選択した手法の影響がある。
編集上の確認事項は、別のモデル規模や画像領域での再現性、介入による下流課題への影響である。表現の変化が小さい特徴でも特定課題では必要な場合があり、全体の類似度だけで不要と判定しないことが重要になる。
出典
元のタイトル・要旨を確認する（英語）
Decoding the Functional Roles of Register and High-Norm Patch Tokens in Vision Transformers
Self-supervised Vision Transformers (ViTs), such as DINOv2, learn rich visual representations, but the functions of their internal tokens remain poorly understood. Recent architectures introduce dedicated register tokens to reduce high-norm out- lier patch tokens that emerge in background re- gions, yet the semantic and functional roles of both token types have not been fully established. In this paper, we analyze these roles by training sparse autoencoders (SAEs) on register-token and outlier-token activations in DINOv2. Using an automated interpretability pipeline, UMAP clus- tering, and CLIP-space cross-checks, we find that register-token features are more strongly associ- ated with high-level semantic concepts. Outlier- token features, by contrast, are more often associ- ated with lower-level structural, background, and texture-dominant patterns. Causal ablations fur- ther reveal a substantial functional asymmetry: disrupting top-activating register-derived features produces a 48.17% drop in representation cosine similarity, whereas disrupting outlier-derived fea- tures produces only a 0.31% drop. Together, our results provide evidence for token specialization in self-supervised ViTs.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-06