アーカイブ / Computer Vision / Generative AI
一点を仮想的に動かし、連動する領域から物体を見つける「PSI」
Probabilistic Structure Integrator (PSI)
Probabilistic Structure Integrator (PSI)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : PSI Architecture. Here, Figure A illustrates a probabilistic model of the visual world, which predicts distributions over visual variables such as appearance, motion, and depth. Figure B shows how this can be implemented by training a sequence model on a pointer–content representation of visual data. In Figure C , we show how the learnt sequence model can be queried to obtain distributional estimates over visual variables at specified locations. Building on this, Figure D shows how the model can also produce visual variables, either in parallel across the scene or sequentially. Finally, in Figure E we describe PSI , a physically controllable visual world model built under this framework, and its various inference pathways using RGB, optical flow and camera motion tokens.
概要
- PSIは一点に仮想的な動きを指定し、周囲の動きとの連動から可動物体の領域を抽出する。
- 著者らのSpelkeBench評価では、指定点ありのmIoUはPSIが0.681、SAM2が0.623だった。
- 指定点なしではPSIのF1が0.38で比較対象中最高だった一方、mIoUはSAM2の0.68に対し0.57だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Probabilistic Structure Integrator (PSI)の仕組み
- 01RGB画像と指定点
- 02仮想の動きを指定
- 03周囲の動きを複数生成
- 04連動領域を抽出
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
PSIは、画像のどの部分が一つの物体として動くかを推定する。見た目だけで領域を区切ると、模様で一つの物体が分かれたり、別々の物体がまとまったりし得る。物を動かす作業では、どこまでが一緒に動くかが対象の判断に関わる。
一枚の画像からは、ある場所を動かした後の変化を直接観測できない。著者らはRGB動画から画像内の動き方を学び、あり得る動きを複数予測して、物体のまとまりを調べる。
手法
PSIは、動画の前後のRGB画像とオプティカルフローを学習する。オプティカルフローは、画像内の各位置が次の画像でどちらへどれだけ移るかを表す。カメラの動きも得られる場合は加える。画像、動き、カメラの情報を小さな単位のトークンに変え、位置を示すトークンと並べて次の内容を予測する。
例えば部品上の一点と仮想的に動かす方向を指定する。カメラを止めた条件で周囲の動きを複数生成し、指定した動きと連動する画素を集計して領域を出す。動きを条件に次のRGB画像を生成する経路もあり、予測された見た目の変化を描ける。
新規性
著者らが提案するのは、画像の見た目、画面上の動き、カメラの動きを、場所を指定して確率的に問い合わせられる一つの世界モデルである。確率的とは、あり得る結果を一つに決めず、複数の候補として扱うことを指す。
指定点を動かした場合の候補を複数生成し、連動する画素から物体や関節を持つ部分を抽出する。同じモデルで動きを条件とした画像生成や、積まれた物体の支持関係の推定にも取り組む。
従来手法との違い
物体領域を得る既存手法には、領域の正解ラベルで学習するSAM2や、画像特徴から領域をまとめるCutLER、ProMergeがある。PSIは指定点での仮想的な動きを条件に、周囲の動きとの連動を使って領域を決める。
著者らのSpelkeBench評価では、指定点ありのmIoUとARはPSIがSAM2とFPTを上回った。指定点なしではPSIのF1が比較対象中で最も高い一方、mIoUはSAM2より低い。優劣は課題と指標ごとに読む必要がある。
実験結果
著者らは、可動物体の正解領域があるSpelkeBenchで、指定点ありの抽出に8通りの仮想的な動きを使った。領域の重なりを測るmIoUはPSIが0.681、SAM2が0.623、FPTが0.566。検出の再現を測るARは順に0.541、0.482、0.368だった。
同じデータセットの指定点なしでは、PSI、SAM2、ProMergeのF1は順に0.38、0.17、0.36。mIoUはPSIが0.57、SAM2が0.68だった。関節を持つ部分の抽出を調べるDragAMoveでは、mIoUがPSIで0.410、FPTで0.287と著者らは報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：卓上部品を扱うロボットの作業前確認に使う。RGBカメラで撮った画像、部品上の接触候補点、仮想的に動かす方向を入力し、一緒に動くと予測された領域を担当者へ表示する。
元のモデルの学習にはRGB動画が使われた。この用途への適応では対象部品と背景を含む動画を用意し、撮影条件の差を確かめる。正解領域と接触点のラベルは評価用に人手で付ける。出力を実際の把持可否の判定に使えるかは別途検証が要る。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：卓上の対象部品と背景を含むRGB動画を集め、元の学習動画との撮影条件の差を確認する。入力にはRGBカメラ画像、接触候補点、仮想的に動かす方向を用いる。評価用画像には接触点と可動領域の正解ラベルを付ける。
小規模な検証では、同じ画像と指定点でPSIと既存の領域抽出法を比べる。正解領域とのmIoU、複数部品を一領域にまとめた件数、指定点を変えた際の出力の変動を記録する。現場への適応を判断する前に、予測した動きと実際の動きの一致も別に測る。
限界と課題
確認できた本文の範囲では、著者らによる失敗条件の整理や、実機ロボットでの作業成功率は確認できない。本文は途中で途切れており、支持関係を調べる手順と結果の全体も確認できない。掲載値は記載された評価課題での結果である。
編集上の検証事項は、部品や背景が変わった場合の領域の安定性、指定点と動かす方向による出力の差、予測した動きと実際の接触後の動きの一致である。指定点なしの評価では指標によって比較結果が異なるため、用途に合う判定基準も先に定めたい。
出典
元のタイトル・要旨を確認する（英語）
Physical Object Understanding with a Physically Controllable World Model
A central challenge in visual intelligence is learning the physical structure of scenes from raw videos: how regions form objects and the laws that govern their interactions. Solving these tasks requires world models capable of inferring distributional states of the world from partial observations - capabilities that current architectures do not provide. We introduce a new class of probabilistic world models that support estimation of the probability of any visual variable, such as appearance and dynamics, conditioned on any other variables. Here, we identify that these models can be trained efficiently with autoregressive sequence modeling, yielding world models from which rich object understanding emerges. First, we demonstrate that our model captures the physical laws governing how objects move by generating multiple plausible future states of the world through sequential inference. Then, by analyzing motion correlations across these futures, we extract objects and articulated object subparts. Having discovered these objects, we show that our world model can manipulate them in 3D. Finally, we demonstrate how physical relationships between objects can be computed from the world model, enabling applications such as Visual Jenga.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01