アーカイブ / Robotics / VLM
実機の説明書に対応する仮想家電100台で、ロボットの操作計画を評価する
RealAppliance
RealApplianceの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Creation process of appliance digital assets in RealAppliance.
概要
- 実機の説明書に対応し、物理・電子機構と制御規則を備えた仮想家電100台を構築した。
- 評価課題は説明書検索、部品位置特定、事前の操作計画、状態変化に応じた計画修正を含む。
- 著者らの表では、GPT-5の事前操作計画の全体の課題成功率は1.22だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RealApplianceの仕組み
- 01説明書・写真・寸法
- 02部品別の立体モデル
- 03可動部と機構の設定
- 04説明書に沿う制御規則
- 05操作できる仮想家電
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
家電の操作には、扉やボタンを見分け、機種ごとの説明書に沿って順に扱い、表示や動きの変化を確認する必要がある。仮想家電が実物の操作に十分対応していなければ、そこで作った計画が実機でも役立つか判断しにくい。
著者らは、従来の仮想資産では外観、部品の反応、説明書との対応に不足があると指摘する。家庭用ロボットの操作計画を調べるため、実機に対応する仮想家電と評価課題を整えた。
手法
RealApplianceは、実機の説明書、写真、寸法を基に家電の立体モデルを作り、外から見える部品を個別に表現する。可動部には回転や直線移動の種類と動ける範囲を設定し、ばね、磁力、接触の検知、画面表示など、対象機種に必要な反応を加える。
次に、電源や温度、時間などを状態を表す値として定め、説明書の手順に沿って値と部品の状態を変える規則を作る。例えば、電子レンジの開扉ボタンを押すと扉が開く。評価では説明書と観察画像を入力し、モデルに該当ページ、画像内の部品位置、操作順序、状態が変わった後の次の操作を答えさせる。
新規性
著者らの主張する新規性は、実在する説明書を起点に、寸法や質感に加えて可動部、物理・電子機構、操作に応じた制御規則を備える仮想家電を作った点にある。各資産に対応する実機の説明書が付く。
RealAppliance-Benchは、その資産を使って説明書の検索、部品の位置特定、操作計画、途中の状態変化に応じた計画修正を評価する。
従来手法との違い
著者らの比較表では、PartNet-Mobilityは可動部の関節を持つが、実機の寸法・質感との対応や実物の説明書を備えない。CheckManualは既存の仮想資産に説明書を生成する方式で、著者らは実物との差を指摘する。
ArtVIPは磁力など一部の物理的な反応を扱うが、著者らによれば家電の操作手順までは実装していない。RealApplianceは実機の説明書に基づき、部品の動きと操作後の状態変化を設定する。
実験結果
著者らによると、対象は14種類、100台の家電と各機種の説明書で、操作可能な部品は589個。操作計画の課題979件と、途中に状態変化を加える場面941件を集め、計画の平均長は7.57手順だった。評価には説明書検索、部品位置特定、事前の操作計画、計画修正などが含まれる。
独立した課題の表では、GPT-5の全体値は説明書のページ検索で再現率86.50、F1値80.89、事前の操作計画で課題完了率4.30、課題成功率1.22と著者らは報告する。これらはRealAppliance-Bench内の値であり、実機での成功率ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：特定の電子レンジについて、ロボットが扉を開き設定を変更する手順を、実機で試す前に仮想家電で確認する。入力は対象機種の説明書と現在の外観画像、出力は操作部品の位置、操作順序、状態が変わった後の次の操作とする。
対象機種の説明書、寸法、複数方向の写真、操作と表示状態の対応を集め、仮想資産を調整する。追加学習する場合は正しい部品位置と手順のラベルが必要で、状態を画像で確認するセンサーも定める。この用途での効果は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象機種を一つ選び、実機の説明書、寸法、複数方向の写真、操作前後の表示や部品状態を収集する。部品の画像内の位置と正しい手順をラベルとして記録し、可動部と制御規則を対象機種に合わせて調整する。追加学習を行うなら、このラベル付きデータを使う。
説明書だけで手順を作る方式を比較基準とし、説明書と画像を使う方式を同じ課題で比べる。画像を取得するセンサーと撮影条件をそろえ、部品位置の一致度、全手順の正しさ、状態変化後の次操作の正しさを測る。実機で成立するかは別に確認する。
限界と課題
確認できた本文の範囲では、著者らがRealAppliance自体の限界として明示した記述は見当たらない。ただし、一連の操作を通す評価では、実行器の誤差を避けるため、指定した操作を仮想環境に直接反映する「magic manipulation」を使うと記されている。
編集上の検証事項は、仮想環境で正しい計画が実機の操作でも成立するか、説明書にない故障や個体差に対応できるかである。外観の忠実さに関する参加者調査は記載されるが、結果値は確認できた本文の範囲では示されていない。
出典
元のタイトル・要旨を確認する（英語）
RealAppliance: Let High-fidelity Appliance Assets Controllable and Workable as Aligned Real Manuals
Existing appliance assets suffer from poor rendering, incomplete mechanisms, and misalignment with manuals, leading to simulation-reality gaps that hinder appliance manipulation development. In this work, we introduce the RealAppliance dataset, comprising 100 high-fidelity appliances with complete physical, electronic mechanisms, and program logic aligned with their manuals. Based on these assets, we propose the RealAppliance-Bench benchmark, which evaluates multimodal large language models and embodied manipulation planning models across key tasks in appliance manipulation planning: manual page retrieval, appliance part grounding, open-loop manipulation planning, and closed-loop planning adjustment. Our analysis of model performances on RealAppliance-Bench provides insights for advancing appliance manipulation research
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01