アーカイブ / Computer Vision
点や枠の指定から対象を切り出すSAM、画像注釈を支える仕組み
Segment Anything Model
Segment Anything Modelの原論文から掲載した図です。細部はクリックして拡大できます。
出典：Segment Anything Model / arXiv ↗概要
- SAMは点や枠などの指定から、画像内の対象領域を示すマスクを生成する。
- 曖昧な指定には複数候補を返し、同じ画像への再指定では計算済みの画像特徴を使える。
- SA-1Bは1100万画像と約11億マスクを含み、標本調査では自動マスクの94％が修正後マスクとIoU 90％超だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Segment Anything Modelの仕組み
- 01画像と点・枠
- 02画像特徴を計算
- 03指定と特徴を統合
- 04領域候補を出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像の領域分割は、対象が写る場所だけを画素単位で塗り分ける作業である。製品写真の対象物抽出や画像への注釈では便利だが、境界を一枚ずつ手で描くと時間がかかる。対象が変わるたびに専用の学習データを用意する負担もある。
著者らは、画像上の点や大まかな枠を手掛かりに切り出し範囲を指定できるモデルを検討した。新しい画像や作業へ、追加学習をせずに適用する「ゼロショット転移」を目標に含めている。
手法
SAMは画像を一度解析して画像特徴を作り、利用者の点、枠、既存のマスクなどの指定を別に数値化する。軽いデコーダーが両者を合わせ、切り出す画素を示すマスクを返す。マスクとは、画像の各位置が対象に含まれるかを示す図である。同じ写真で指定を変えるときは、先に計算した画像特徴を再利用する。
例えば人物のシャツ上の一点は、シャツだけにも人物全体にも解釈できる。SAMはこの曖昧さに備えて複数の候補と推定品質の値を返す。データ収集では、まず人の注釈を支援し、次に自動生成と人手を併用し、最後は格子状に置いた点から候補を自動生成して選別した。
新規性
著者らは「何を切り出すか」を点や枠で指定し、それに対応する領域を返す課題、モデル、データ収集手順を一体で設計した。SAMは一枚の画像を先に解析し、指定を変えてもその計算結果を再利用できる。
曖昧な一点が物体全体とその一部の双方を指し得る場合には、複数の領域候補と信頼度を返す。モデルを注釈作業に使い、その注釈でモデルを改善する流れから、大規模なSA-1Bも構築した。
従来手法との違い
従来の領域分割では、決まった種類の対象に合わせて学習したモデルや、担当者が境界を手でなぞる作業が使われる。SAMは点、枠、既存のマスクなどを手掛かりに領域を出せるため、同じ画像でも指定する対象を変えられる。
著者らは、注釈支援段階でマスク一件の平均作業時間が34秒から14秒へ下がったと報告した。14秒は、論文中で引用されたCOCOのマスク注釈時間との比較で6.5倍速い。ただし、対象の難しさや作業条件が同じという意味ではない。
実験結果
著者らが構築したSA-1Bは、1100万枚の画像と約11億件のマスクを含む。自動マスクの品質確認では、無作為に選んだ500画像の約5万件を専門の注釈者が修正し、修正後との重なり率IoUが90％を超えた組は94％だった。IoUは二つの領域の重なりを、両者を合わせた領域で割る指標である。
著者らは23の領域分割データセットで一点指定の品質を調べ、複数の別タスクでも追加学習なしの適用を評価した。注釈支援の平均時間は改善したが、こうした数値はSA-1Bの自動マスク品質や試験条件を示すもので、任意の現場画像で同じ精度になることは示さない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製造現場の部品写真から、検査対象の外形を切り出す作業に使う。入力は部品写真と、担当者が対象上に置く点または対象を囲む枠。出力は対象領域を示すマスクと、その領域だけを重ねた確認画像にする。
担当者は境界が背景や隣の部品を含んでいないかを確認し、必要なら指定点を追加して修正する。確定したマスクを後続の計測や記録の材料にする構想であり、この論文がその製造工程の精度を示したわけではない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象物の大きさ、重なり、背景の複雑さが異なる写真を用意し、担当者が一枚ずつ正しい領域を確認する。SAMには同じ点または枠を与え、現在の手作業で作ったマスクと、境界の重なり率IoUを比較する。
作業時間も、指定、候補選択、修正まで含めて測る。複数候補が出た場合の選択間違いと、細部を修正した件数を記録する。品質と時間の両方が既存手順に対して十分かを見て、対象を限定した試行範囲を決める。
限界と課題
著者らは、SA-1Bの画像に地域や所得水準による偏りがあり、アフリカや低所得国の画像が相対的に少ないと報告した。また、人物の領域分割では調べた属性群の性能が概ね近い一方、より大きなシステムへ組み込むと偏りが生じ得ると述べる。
導入時の確認事項は、重なった対象、細い境界、小さな欠損、透明な物体など、実際に切り出したい対象での誤差である。一点から複数候補が出る設計なので、候補の選択や最終確認を誰が行うかも決める必要がある。
出典
元のタイトル・要旨を確認する（英語）
Segment Anything
We introduce the Segment Anything (SA) project: a new task, model, and dataset for image segmentation. Using our efficient model in a data collection loop, we built the largest segmentation dataset to date (by far), with over 1 billion masks on 11M licensed and privacy respecting images. The model is designed and trained to be promptable, so it can transfer zero-shot to new image distributions and tasks. We evaluate its capabilities on numerous tasks and find that its zero-shot performance is impressive -- often competitive with or even superior to prior fully supervised results. We are releasing the Segment Anything Model (SAM) and corresponding dataset (SA-1B) of 1B masks and 11M images at https://segment-anything.com to foster research into foundation models for computer vision.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29