アーカイブ / Computer Vision / VLM
動画の対象をクリックで指定し、途中で修正できるSAM 2
SAM 2
画像と動画を統一して扱うSAM 2の全体像。
出典：Nikhila Ravi et al. / SAM 2, Fig. 1 ↗概要
- 点・枠・マスクで対象を指定し、動画中の任意のフレームで追加指示して領域を修正できる。
- 過去の指示と予測を保持するメモリを使い、フレームごとの対象領域を推定する。
- 著者らの注釈工程比較では平均作業時間が37.8秒から4.5秒／フレームになった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SAM 2の仕組み
- 01画像・動画＋対象の指定
- 02現在の画像を特徴に変換
- 03過去の情報をメモリから参照
- 04対象の領域マスク
たとえば最初に指定した対象が動いても、動画の中でその領域を切り出す。
画像ごとの切り出しでは、動画中の対象を継続して扱いにくい。
ストリーミングメモリを使って動画の情報を引き継ぐ。
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
動画内の人や物を切り出すには、各フレームで対象が占める画素の領域を見つけ、動きに合わせて追う必要がある。画像用の領域分割だけでは、対象の形が変わる、別の物に隠れる、再び現れるといった時間方向の変化を扱いにくい。
映像編集や点検記録で人が全フレームを塗り分けるのは手間がかかる。SAM 2は、人が少数の点や枠で対象を指示し、必要な場面で修正する作業を支える。
手法
利用者は動画の任意のフレームで、対象を示すクリック、囲み枠、または領域マスクを与える。モデルはそのフレームのマスクを出し、フレームを順に処理して対象のマスク列を作る。この列を論文ではmaskletと呼ぶ。1枚の画像は1フレームの動画として扱う。
処理の核はストリーミングメモリで、以前の指示と予測から作った対象の特徴を保持する仕組みだ。新しいフレームの画像特徴を記憶と照らし、対象がどこにあるかを推定する。例えば途中で手に隠れた物の追跡が外れた場合、再び見えるフレームでクリックを追加し、記憶を使ってマスク列を修正する。
新規性
SAM 2は、画像で対象の領域を指定するSAMの考え方を動画へ広げ、点・枠・マスクによる指示と、後のフレームでの修正を一つのモデルで扱う。過去の指示と予測を記憶として使うため、追跡が外れた場面から対象を指定し直せる。
著者らはモデルの改良と人による対話的な注釈を循環させ、50.9千本の動画を含むSA-Vも構築した。対象全体に加えて、帽子などの部分も注釈対象に含めている。
従来手法との違い
画像用SAMを各フレームで使う方法では、対象の領域をフレームごとに指定する必要がある。SAMと動画追跡器を組み合わせる方式でも、途中で追跡が外れると、そのフレームの領域を作り直して追跡を始める場合がある。
SAM 2は、過去の対象情報を保持したまま、後のフレームへのクリックで予測を修正する。論文の注釈実験では、SAMを毎フレーム使った第1段階の37.8秒／フレームに対し、SAM 2を使った第3段階は4.5秒／フレームだった。
実験結果
著者らはSA-Vを50.9千本の動画、35.5百万枚のマスクを含むデータとして報告する。注釈工程の比較では、SAMを各フレームで使う第1段階が平均37.8秒／フレーム、SAM 2を使う第3段階が4.5秒／フレームで、約8.4倍の差だった。第3段階のマスクの89.1％は、第1段階のマスクとの重なりを示すIoUが0.75を超えた。
動画分割では従来方式より少ない操作で高い精度、画像分割ではSAMより6倍速いと著者らは述べる。評価対象には動画17件、画像37件のゼロショットベンチマークが含まれる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製造ラインの点検動画で、担当者が確認したい部品を最初のフレームでクリックし、全フレームの領域マスクを得る。マスクは対象に当たる画素の範囲を示す画像で、後から特定の部品が映る場面を見返すために使う。
担当者は動画を再生し、部品が隠れた後や似た部品と重なった後に追跡が外れていないか確かめる。外れたフレームでは追加のクリックで修正し、修正後のマスク列を確認記録に添える。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：短い点検動画を集め、細い部品、遮蔽、似た部品の並列などを含む場面に印を付ける。現行の手作業によるフレームごとの領域指定を比較基準とし、同じ対象をSAM 2でも指定・修正する。
対象ごとに作業時間、追加クリック数、修正したフレーム数を記録する。人が確認したマスクとの重なりをIoUで測り、遮蔽後に別の部品へ移っていないかも確認する。必要な精度と人手の削減が両立する対象に絞って運用する。
限界と課題
著者らは、動画では変形、遮蔽、照明変化、ぶれ、低解像度などが領域推定を難しくすると説明している。SAM 2には対象が見えないフレームを判定する出力もあるが、論文はすべての場面で正しく追跡できるとは主張していない。
編集上の確認点は、対象が長く隠れた後の再出現、よく似た対象が並ぶ場面、細い部品の境界での修正回数である。報告された注釈時間や速度比は論文の評価条件に基づくため、扱う動画で作業時間を測り直す必要がある。
出典
元のタイトル・要旨を確認する（英語）
SAM 2: Segment Anything in Images and Videos
We present Segment Anything Model 2 (SAM 2), a foundation model towards solving promptable visual segmentation in images and videos. We build a data engine, which improves model and data via user interaction, to collect the largest video segmentation dataset to date. Our model is a simple transformer architecture with streaming memory for real-time video processing. SAM 2 trained on our data provides strong performance across a wide range of tasks. In video segmentation, we observe better accuracy, using 3x fewer interactions than prior approaches. In image segmentation, our model is more accurate and 6x faster than the Segment Anything Model (SAM). We believe that our data, model, and insights will serve as a significant milestone for video segmentation and related perception tasks. We are releasing our main model, dataset, as well as code for model training and our demo.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29