表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

指示を実行できる行動列に変える、ロボット向け模擬訓練基盤「EmboMatrix」

EmboMatrix

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

EmboMatrixの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

(a)

出典:EmboMatrix / arXiv ↗

概要

  • EmboMatrixは、課題生成、模擬実行、報酬を使ったモデル更新をつなぐ訓練基盤。
  • 著者らの表では、EmboBrain-7Bの総合成功率は独自検証セット65.8%、EAIで62.9%。
  • 導入時は達成条件と操作語彙を定め、同じ模擬課題で学習前モデルとの成功率を比較する。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、EmboMatrixの仕組み

左から右へ読む
  1. 01室内場面と課題
  2. 02操作列を生成
  3. 03模擬環境で実行
  4. 04報酬でモデル更新

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

EmboMatrixは、言葉で示された目的をロボットが実行できる操作の並びへ変えるモデルを、模擬環境で訓練する基盤である。例えば食品を温めるには、置き場所だけでなく機器の扉や電源の状態も考える必要がある。

著者らは、文章中心で学習した大規模言語モデルには物理環境で試行した経験が乏しいと捉える。一方、実世界で大量の試行を重ねるには費用と危険が伴うため、場面、操作結果、成否を扱える訓練環境を設計した。

手法

EmboMatrixは、場面、指示、達成条件を組にした課題を作る。既存の室内場面からRGB画像と文章による場面説明を作り、複数の役割を持つエージェントの対話で依頼を具体化する。物体の配置と初期状態を決めた後、モデルには課題説明、使用可能な操作、現在の場面説明、出力形式を渡し、操作列を出させる。

例えば「鶏肉を温める」課題では、電子レンジの扉を開け、食品を入れ、扉を閉めて電源を入れる操作列を模擬実行する。報酬は形式への適合、目標に関係する物体への操作、達成条件を満たした数から作る。GRPOは、同じ課題で生成した複数の操作列の報酬を比較してモデルを更新する学習法である。

新規性

著者らの提案は、課題と場面の自動生成、行動列の模擬実行、結果に基づく学習を一つの基盤に結び付けた点にある。複数の役割を持つエージェントが指示と物体配置を作り、課題ごとの達成条件も定める。

実行側では、よく使う操作の結果を事前に用意して計算を省き、複数の模擬実行を分散して処理する。報酬は出力形式、目標物との関係、達成条件を分けて与える。

従来手法との違い

比較対象は、同じ規模の学習前モデルやDeepSeek-R1などである。EmboMatrixで学習するモデルは、指示から作った行動列を模擬環境で実行し、その結果を受けて更新される。比較は、記載された模擬環境の課題に限られる。

著者らは、従来の場面作成には手作業が多いことや、見た目を生成する方法では課題の制約や物体間の操作を十分扱えない場合があることも指摘する。ただし、これらの方法すべてとの成功率比較が示されているわけではない。

実験結果

著者らは、Behavior-1Kの45場面を基に訓練課題を生成し、各100組の課題と場面からなる独自の検証セットとEmbodied Agent Interface(EAI)で評価した。課題には物体の移動、機器の使用、厨房作業、複合課題が含まれる。各モデルを課題ごとに10回照会し、平均成功率を報告した。

表の総合成功率はEmboBrain-7Bが独自セット65.8%、EAIで62.9%だった。学習前の7Bモデルは順に5.5%、4.1%、DeepSeek-R1は51.6%、58.2%である。これらは著者らが記載した二つの模擬環境ベンチマークでの結果である。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:厨房の模擬場面で「鶏肉を電子レンジで温める」という指示を操作列に変える訓練を試す。入力は指示、現在の場面説明、使用可能な操作で、出力は扉の開閉、食品の投入、電源操作を含む行動列とする。模擬環境で実行し、定めた最終状態と照合する。

必要な学習データは、対象の厨房を表す模擬場面と課題の組である。物体の初期状態と達成条件を判定用ラベルとして用意し、場面生成にはRGB画像を使う。実機センサーはこの案では使わず、物体名と操作語彙を対象環境に合わせる応用仮説である。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:まず対象作業に近い室内の模擬場面と指示を少数用意する。物体の初期状態と達成条件を成否判定のラベルとして記録し、場面生成に使うRGB画像と、判断時にモデルへ渡す場面説明を整える。実機センサーは使わず、対象物と操作語彙を試験場面に合わせる。

同じ課題で学習前モデルと試行学習後のモデルを比較する。出力形式への適合率、模擬環境で実行できた操作列の割合、課題成功率を測り、扉の開閉など途中の状態も記録する。事前に用意した操作結果では表せない失敗例を確認し、対象作業への適用を判断する。

限界と課題

著者らは、1.5BモデルのEAIでの成績が基礎モデルの能力に制約されると述べる。また、よく使う操作では物理過程を逐一計算せず、事前に用意した妥当な操作結果を反映する。この仕組みでどの現象まで表せるかは、利用場面に関わる。

編集上の検証事項は、訓練場面と異なる物体配置、操作失敗、観測の誤差に対して行動列がどう変わるかである。示された成功率は模擬環境での評価であり、実機での成功率や移行に必要な調整量は確認できた本文の範囲では分からない。

研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

EmboMatrix: A Scalable Training-Ground for Embodied Decision-Making

Embodied decision-making enables agents to translate high-level goals into executable actions through continuous interactions within the physical world, forming a cornerstone of general-purpose embodied intelligence. Large language models (LLMs), with their general decision-making capabilities, offer a promising path to realize this potential; however, LLMs trained solely on language lack exposure to physical environments, limiting their true embodied understanding. To bridge this gap, we propose the concept of a training ground: a comprehensive infrastructure that provides task and scene simulation, embodied interaction, and feedback signals, offering a one-stop solution for LLM acquire genuine embodied decision-making skills. In this work, we present EmboMatrix, the first training ground of its kind, providing massive and diverse tasks with efficient simulation and precise rewards. EmboMatrix incorporates a series of novel techniques: a multi-agent data engine for large-scale task and scene generation, a distributed heterogeneous-hardware system for scalable simulation, and a multi-level reward architecture for precise supervision. Leveraging EmboMatrix, we cultivate EmboBrain, an LLM whose embodied decision-making abilities emerge from extensive embodied interactions. Experiments show that EmboBrain-7B surpasses the 671B DeepSeek-R1 baseline by 9.5\% on two challenging embodied decision-making benchmarks, demonstrating the power of interactive, environment-grounded learning for building truly intelligent embodied agents.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01