アーカイブ / Robotics / VLM
「私のカップ」を見分けるため、ロボットの入力画像に印を付けるVAP
Visual Attentive Prompting
Visual Attentive Promptingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Manipulating personal objects with VLA. Existing vision-language-action (VLA) models cannot handle personal objects such as <my cup> , because they can only interpret generic, language-expressible semantics. We address this limitation with a simple framework, Visual Attentive Prompting (VAP). It first grounds the user-specific object in the scene by matching it against the memory and then uses visual prompting to guide the VLA. This pipeline enables existing VLA models to manipulate personal objects without any additional training.
概要
- 参照写真から個人の物を探し、現場画像でその部分を着色して既存のロボットモデルに渡す。
- Google Robotのペン立て課題の一条件で、著者らは成功率8.5％から60.3％への改善を報告した。
- 実用上は対象検出と追跡の誤りを、動作そのものの失敗と分けて測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Visual Attentive Promptingの仕組み
- 01持ち物の参照写真
- 02現場の候補を検出
- 03写真と候補を照合
- 04対象を着色して追跡
- 05ロボットの動作
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
VAPは、ロボットが「私のカップ」のような指示から、似たカップの中の一つを選ぶための手法だ。視覚・言語・行動モデルは、画像と指示から動作を決めるが、通常の「カップ」という種類の理解だけでは持ち主固有の一個を特定しにくい。
物体ごとにモデルを学習し直すと、登録のたびに手間がかかる。著者らは、数枚の写真を手掛かりに対象を見つけ、その場所を既存モデルへ視覚的に伝える方法を検討した。
手法
入力は対象物の参照画像を数枚、現場のカメラ画像、利用者の指示である。まず「カップ」などの種類を指示から取り出し、画像内の候補を検出する。各候補と参照写真を、画像の特徴を数値化した「埋め込み」で比較し、最も合う候補の輪郭を得る。例えば似たカップが三つあっても、登録写真に近い一つを選ぶ。
次に輪郭内へ半透明の色を重ね、「私のカップを取って」を着色に対応した一般的な指示へ書き換える。加工した画像と指示を、重みを固定した既存の行動モデルへ渡す。物が動いた後は追跡によって着色範囲を更新し、モデルが次の動作を決めるための入力に使う。
新規性
VAPは、利用者の持ち物を数枚の参照画像で登録し、ロボットの通常のカメラ画像上で対象を強調する。既存の視覚・言語・行動モデルの重みを変えず、入力画像と指示文を調整して個別の物体を扱わせる点が提案の中心だ。
初回に参照画像と候補物体を照合し、その後は追跡で印を更新する。対象物ごとの追加学習を必要としない構成として著者らは示しているが、対象を見つける外部の認識・追跡処理は必要である。
従来手法との違い
基準となる一般的な方策には「私のカップ」とそのまま指示し、個人の持ち物を登録しない。比較した文字だけの指示変更は、参照画像に基づく短い説明や長い説明を付ける方法で、学習するトークンを追加する方法も用意された。
VAPは同じ基盤モデルに対し、現場画像の対象部分を半透明で着色し、指示も「赤く示したカップ」に相当する表現へ変える。差が出たとしても、着色の効果と対象を正しく選ぶ認識処理の効果は、運用時には合わせて評価する必要がある。
実験結果
著者らは、二つのシミュレーションベンチマークと卓上の実機課題を作った。Personalized-SIMPLERはGoogle Robotで1685話、WidowXで96話、Personalized-VLABenchはFrankaで250話、実機のSO-101では160話を設定した。成功率に加え、正しい対象を一度でも動かした割合も測る。
Google Robotのペン立て課題の一条件では、基盤モデル単独の成功率8.5％、正しい対象を動かした割合10.5％に対し、VAPは60.3％と89.2％だったと著者らは報告する。別の課題や条件では改善幅が異なり、この値を全作業へ一般化できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：作業台で、同じ形の容器が並ぶ中から担当者専用の容器を取り上げる補助を想定する。入力は対象容器の複数方向の写真、現在のカメラ画像、「私の容器を選んで」という指示で、出力は選択対象を示した画像とロボットの動作である。
登録時に持ち主と写真の対応を確認し、実行前に画面上の着色対象を人が承認する。誤って別の容器を選んだ場合は動作を止め、参照画像の追加や置き方の変更で再試行する。この具体的な作業台運用の成績は論文からは分からない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同じ種類の物を三つ置く小さな選択課題を用意し、対象一つの参照写真を複数方向から登録する。基盤モデルへ指示だけを渡す条件と、VAPで対象を着色する条件を、配置を変えながら比較する。
完了率だけでなく、最初に選んだ物、誤って触れた物、追跡が外れた回数を記録する。照明や向きも変えて誤選択を測り、人が画面上の対象を確認してから動作させる。認識の誤りと把持・移動の失敗を分けて集計する。
限界と課題
著者らの方式は、最初に対象物の種類を検出し、参照画像と候補を照合してから追跡する。最初の候補に対象が入らない場合や、追跡が別の物体へ移った場合は、強調表示自体が誤った指示になり得る。本文には実機での評価もあるが、全環境への適用を示すものではない。
編集上の確認点は、照明、遮蔽、物の回転、似た模様の妨害物、カメラ位置の変化に対する誤選択率である。成功率とは別に、間違った物体を一度でも動かした割合と、対象を見失った際の停止動作を測るべきだ。
出典
元のタイトル・要旨を確認する（英語）
Bring My Cup! Personalizing Vision-Language-Action Models with Visual Attentive Prompting
While Vision-Language-Action (VLA) models generalize well to generic instructions, they struggle with personalized commands such as "bring my cup," where the robot must act on one specific instance among visually similar objects. We study this setting of manipulating personal objects, in which a VLA must identify and control a user-specific object unseen during training using only a few reference images. To address this challenge, we propose Visual Attentive Prompting (VAP), a simple-yet-effective training-free perceptual adapter that equips frozen VLAs with top-down selective attention. VAP treats the reference images as a non-parametric visual memory, grounds the personal object in the scene through open-vocabulary detection and embedding-based matching, and then injects this grounding as a visual prompt by highlighting the object and rewriting the instruction. We construct two simulation benchmarks, Personalized-SIMPLER and Personalized-VLABench, and a real-world tabletop benchmark to evaluate personalized manipulation across multiple robots and tasks. Experiments show that VAP consistently outperforms generic policies and token-learning baselines in both success rate and correct-object manipulation, helping to bridge the gap between semantic understanding and instance-level control.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29