アーカイブ / Robotics / VLM
作業段階に合う実演を検索し、モデルを更新せずにロボットの動作を生成するICI-VLA
ICI-VLA
ICI-VLAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Task Adaptation Paradigms. (a) Conventional VLAs collect task-specific data and update policy parameters for each new task. (b) ICI-VLA conditions a fixed policy on the current observation and retrieved relative demonstrations, requiring no test-time gradient updates.
概要
- 長い操作記録を小作業に分け、作業内容と動きの進み具合に合う実演を検索し、固定したモデルの動作予測に使う。
- 著者らは平均成功率としてLIBEROで97.7%、RoboTwin 2.0で60.4%、実機の4作業で83.2%を報告した。
- 対象工程への導入には画像、機体状態、動作、作業段階ラベルを伴う実演を用意し、検索の適合性と応答時間を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ICI-VLAの仕組み
- 01画像・指示・機体状態
- 02作業段階を選択
- 03短い実演を検索
- 04数値の動作列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ICI-VLAは、現在の作業段階に合う短い操作実演を参照し、ロボットの次の動作を生成する手法である。作業が変わるたびにモデルを追加学習すると、実演の収集と計算が必要になり、切り替えに時間がかかる。
一方、見た目や指示が似た実演でも、必要な動きが違う場合がある。長い作業記録をそのまま参照すると、いま予測する短い動作と場面がずれる。著者らは、作業内容と動きの進み具合を合わせて実演を選ぶ。
手法
事前に長い操作記録を小作業に分け、指示、主・手首カメラ画像、機体状態、短い動作列を組にした実演集を作る。検索器の学習では作業内容が合う候補を絞り、DTW（進む速さが違う動作軌跡を対応付けて距離を測る方法）で動きの近い例とずれた例を選ぶ。動作軌跡を使うのは、この事前学習の段階だけである。
実行時には、観測から選んだ作業段階と現在の画像・機体状態を使って実演を検索し、現在の観測と共に動作モデルへ渡す。モデルは次の短い動作列を数値の文章として出す。学習時のTarget Action Maskingは予測対象の動作列の一部を隠し、隠していない部分だけで学習する処理である。実行時には隠す処理を行わず、検索器と動作モデルの重みを固定する。
新規性
著者らは、長い操作記録を短い実演に分け、作業内容と動きの進み具合の両方に合う例を検索する方法を組み合わせた。検索器の学習には、実際の動作軌跡を用いる。
動作専用の出力部を加えず、視覚と言語を扱うモデルから動作を数値の文章として生成する。学習時には予測対象の動作列の一部を隠し、数値の続きをそのまま写すことへの依存を減らす。実行時にモデルの重みは更新しない。
従来手法との違い
一般的なVLA（画像と言葉からロボットの動作を決めるモデル）は、新しい作業に合わせて追加の実演を集め、モデルを更新することが多い。ICI-VLAは事前学習を済ませ、実行時には検索した実演を固定済みモデルの入力に加える。
同じ基盤モデル、データ分割、学習設定、検索結果を使い、動作列を隠す学習だけを外した「Naive ICL」が、著者らの統制した比較対象である。他研究の表中の値は各研究の評価手順に従うため、条件をそろえた直接比較ではない。
実験結果
著者らは成功率で評価し、LIBEROで平均97.7%、RoboTwin 2.0で平均60.4%を報告した。シミュレーションでは各作業を初期状態と乱数を変えて10回試した。RoboTwin 2.0の値は、表中で最も高い外部手法の平均41.1%を19.3ポイント上回るが、外部手法との評価条件は統一されていない。
実機の双腕Alohaでは4作業を各250回試し、平均成功率は83.2%だった。構成要素を外した実験では、RoboTwin 2.0の平均は動作列を隠す学習なしで10.7%、DTWなしで31.4%、作業内容による候補の絞り込みなしで38.1%となり、全構成の60.4%を下回った。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：部品の仕分け工程で、作業指示、主カメラと手首カメラの画像、ロボットの位置や姿勢を表す機体状態を入力する。現在の作業段階に合う過去の短い実演を検索し、次の短い動作列を出力する。
対象ロボットで記録した操作実演には、各時点の画像、機体状態、実際の動作、作業段階のラベルが必要になる。部品や配置に合わせて実演集を作り、検索器と動作モデルを事前に適応させる。この工程での成功率向上は未検証である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：仕分け作業を一つ選び、対象ロボットの操作実演から主・手首カメラ画像、機体状態、実際の動作列、作業段階のラベルをそろえる。記録を短い区間に分けて実演集を作り、検索器と動作モデルを事前に適応させる。評価用記録は学習と実演集から分離する。
比較対象は、同じ入力と実演集を使い、動作列を隠す学習だけを外した構成とする。未見の部品配置での成功率、検索した例が正しい作業段階にある割合、検索を含む応答時間を測る。実機試験の前に、生成した動作が対象ロボットの許容範囲に入るか確認する。
限界と課題
著者らは、実演集と作業段階を判断するプランナーが対象をどこまで覆うかに依存し、事前学習と検索に費用がかかると述べる。異なるロボットへの適応範囲を広げることも今後の課題に挙げている。
編集上の検証事項は、対象工程の部品、照明、配置の変化に合う実演があるか、作業段階を正しく選べるか、検索時間が制御に許される範囲かである。実機で生成した動作を使う前に、可動範囲と失敗時の停止手順も確認したい。
出典
元のタイトル・要旨を確認する（英語）
ICI-VLA: In-Context Imitation with Spatiotemporally Aligned Demonstrations for Vision-Language-Action Models
Vision-Language-Action (VLA) policies are commonly adapted to new manipulation settings through additional gradient updates, which limits rapid deployment when task-specific data or compute is scarce. We present ICI-VLA, a training and retrieval framework that equips a text-action VLM with few-shot test-time adaptation through in-context demonstrations. Unlike mainstream VLA designs based on action-specific multimodal fusion, ICI-VLA retains the native text-generation interface. ICI-VLA updates its parameters only during offline training; at inference, the policy remains fixed and conditions action generation on retrieved micro-demonstrations. The framework decomposes long trajectories into short, semantically labeled examples and trains an RD-Encoder with positives mined by Dynamic Time Warping (DTW), aligning the retrieved context with the phase and geometry of the current subtask. We further introduce Target Action Masking, a context-corruption objective designed to reduce direct action copying and increase reliance on the current observation. ICI-VLA reaches average success rates of 97.7% on LIBERO and 60.4% on RoboTwin 2.0, exceeding the highest reported baseline average on RoboTwin 2.0 by 19.3 percentage points. It also achieves 83.2% across four physical tasks. These results indicate that a fixed VLA policy can benefit from conditioning on spatiotemporally aligned demonstrations at test time.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01