表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

ロボット作業を実行可能な手順と状態で管理する「Physical Coding」

Physical Coding / HexaAnything

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Physical Coding / HexaAnythingの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1 : Physical Coding brings AI into the physical world through an explicit executable interface. Code as World represents task-relevant objects, relations, observations, constraints, and progress predicates, while Code as Policy organizes planning, tool calls, action execution, verification, and recovery. Together they form the core interface through which the agent interacts with physical environments and accumulates reusable artifacts for continual improvement.

出典:Physical Coding / HexaAnything / arXiv ↗

概要

  • Physical Codingは、ロボットが扱う状態と動作手順を、点検・修正できるコードとして表す。
  • HexaAnythingは観察、道具の実行、独立した検証、失敗時の回復を組み合わせる。
  • 著者らはRoboCasa365などで部分的な改善を報告するが、全面的な自律進化は今後の課題としている。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Physical Coding / HexaAnythingの仕組み

左から右へ読む
  1. 01画像と作業指示
  2. 02状態をコード化
  3. 03動作を実行
  4. 04結果を検証
  5. 05手順と記録を更新

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

長いロボット作業では、物をつかむ動作が一つ成功しても、残りの部品や終了条件を取り違えると全体は失敗する。画像と指示から動作を直接出すモデルでは、何を終え、何を確認すべきかが外から見えにくい。配置や視点が変わった際に、失敗箇所を特定して手順を直すことも難しい。

論文は、作業の状態、判断、確認根拠を実行可能な形で残すことを提案する。これにより一回の経験を、次の作業やモデル更新に使える記録へ変える。

手法

HexaAnythingは、画像や道具の結果から、物体の位置、関係、制約、進行条件をCode as Worldという状態のプログラムに書く。Code as Policyは作業を分け、知覚・計画・制御の道具を選び、動作後に条件を確かめる手順である。たとえば二つの食材をオーブンに入れる課題では、「両方が中にある」を条件とし、満たしたときだけ扉を閉じる。

Harnessはモデルと道具をつなぎ、観察から実行、判定、回復までを管理する枠組みを指す。判定にはモデル自身の完了宣言ではなく、別の検証器と新たな観察を使う。確認済みの履歴には、動作を許した条件、道具の結果、合否の根拠を残し、次の手順修正や学習データに回す。

新規性

Physical Codingは、ロボットが見ている世界の状態と、次に何をするかという手順の両方を実行可能なコードで表す提案である。HexaAnythingは、観察、道具の呼び出し、結果の照合、失敗時の回復を一つの実行過程につなぎ、確認済みの履歴を次の改善に使う。

著者らの主張は、動作の成功例を蓄積するだけでなく、「何を見て、どの条件で動き、どう確かめたか」を残せる点にある。実証範囲はその一部であり、あらゆる構成要素が自律的に進化したことを示すものではない。

従来手法との違い

基準となるVLAは、画像と指示からロボットの動作を直接予測する視覚・言語・行動モデルである。論文は、こうしたモデルでは作業途中の条件や失敗からの回復が動作列の中に埋もれ、外から点検しにくいと論じる。HexaAnythingはVLAなどを動作のための道具として呼び出し、進行管理を別の手順に置く。

著者らはRoboCasa365でXR-1 VLAと比較し、未見の複合作業と全体の成功率が向上したと述べる。さらに実行履歴で学習したHexaModelも元モデルを各分割で上回ったと報告するが、確認できた本文の範囲では、その差の数値は示されていない。

実験結果

著者らは長い物体操作のRoboCasa365、模擬的な科学実験のPhyBench、二腕のAgileXロボットで評価した。RoboCasa365ではXR-1 VLAより未見の複合作業と全体の成功率が高く、Harnessが集めた履歴で学習したHexaModelは元モデルを全分割で上回ったと報告する。PhyBenchでは実験を自律的に完了し、実機でも卓上課題の多くを完了したとしている。

別の診断実験では、LIBEROで指示文を隠して学習した方策の成功率は92.3%、指示ありは96.2%だった。これは場面から動作を推測できる課題では、指示への依存が小さくなり得ることを示すための結果である。確認できた本文の範囲では、主な成功率の差や実機の試行数の詳細はない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:卓上で二つの部品を所定の容器に入れてから蓋を閉じる作業を対象にする。カメラ画像と作業指示を入力し、世界の状態を「部品Aが入った」「部品Bが入った」といった条件で記録する。手順側は両条件を確認してから蓋を閉じ、満たされなければ再観察または入れ直しに進む。

出力は物理的な完了だけでなく、各動作の前後に使った観察、判定、失敗時の対処を含む作業記録とする。同じような配置の次回作業で記録を参照できるかを調べる構想であり、現場での成功率を保証するものではない。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:まず一つの卓上作業だけを対象に、物体の有無と完了条件を短い状態表にする。既存の動作モデル単体を基準に、同じ初期配置群で、確認条件と失敗時のやり直しを加えた手順を比べる。各試行で動作回数、完了率、誤った完了宣言、停止までの時間を記録する。

次に物体の位置を変え、状態の記録と確認根拠が追跡できるかを見る。失敗履歴から修正した条件は、前に成功した配置でも再試験する。改善の判断は単なる成功率だけでなく、誤検出が新たな危険動作につながらないことを条件にする。

限界と課題

著者らは、確認済みの実行履歴による道具、手順、データ、モデルの部分的改善を示したと位置づける。モデル構造、表現方式、作業設計、ロボット本体まで含む全面的な自律進化は今後の課題としている。現実の動作には遅延、観察漏れ、元に戻せない操作もある。

編集上の確認点は、状態を作る知覚処理自体が誤ったときに検証器が見抜けるか、誤判定後の停止条件が十分か、確認済みの履歴が新しい配置でも役立つかである。シミュレーションの成功を、そのまま製造現場の安定運用とみなせない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Self-Evolving Coding Agents: From Digital Programs to Physical-World Intelligence

Vision-language-action (VLA) and world-action (WAM) models map observations and instructions directly to robot actions. This directness ties a policy to training: minor layout or viewpoint changes cause failure, and instructions generalize poorly. The root cause lies in representation: task requirements, conditions, progress, and failure recovery are implicitly encoded in action sequences, making them difficult to inspect or revise. Digital coding agents offer a precedent: LLMs call tools, verify results, and revise from feedback as executable code. The same working pattern of explicit state, manageable execution, and revisable procedures underlies generalization and long-horizon execution in the physical world, letting physical experience return as reusable programs, memory, or evidence. We propose Physical Coding, representing task state and execution as code. Code as World records objects, relations, constraints, and progress; Code as Policy organizes planning, verification, recovery, and execution. We build HexaAnything, which calls perception, planning, and control tools, including VLA/WAM policies, and makes in-the-loop decisions from external feedback. Verified traces become data and memory, enabling evolution from tools and Harness to model weights, architectures, and ultimately hardware and task design. On RoboCasa365, HexaAnything improves Composite-Unseen and overall success over XR-1 VLA, and its Harness-trained HexaModel beats the base on every split, indicating code traces internalize physical execution. On PhyBench and a dual-arm AgileX robot, the agent autonomously completes physics experiments and most tabletop tasks, often faster than published results. We observe data, model, and tool self-evolution; future work targets weight internalization, autonomous redesign of architectures, languages, representations, and tasks, and deployment in manufacturing and science.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-09-29