新着研究 / Computer Vision / Robotics
世界モデルの内部関係に意味を持たせるInside-JEPA、変化から行動を逆推定する学習が鍵
Inside-JEPA
Inside-JEPAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Five arms, one difference. All arms share encoder, predictor, data, budget and loss weight and differ only in what the inverse head h h reads, and so in where its gradient enters the state (coloured outlines), or in its targets. PRED has no inverse head. INV-S (Inside-JEPA) reads the relational channels s s ; INV-Z reads the whole latent z = ( r , s ) z=(r,s) ; INV-R reads only the entity latents r r , so its gradient reaches s s only through the shared encoder; INV-SHUF is INV-S with shuffled targets π ( a t ) \pi(a_{t}) for the inverse loss only. P P receives a t a_{t} when action conditioning is enabled. The action inputs shown are omitted in the first four settings of Tab. 3 and in the action-free forecasting control.
概要
- 物体対の関係を表す専用成分を、JEPAの潜在状態へ組み込む。
- 将来表現の予測だけでは意味付けが弱く、関係成分から正しい行動を逆推定させると改善。
- 一段階の目標では65行動中の正解を上位五つへ含める率が43%で、予測のみの24%を上回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Inside-JEPAの仕組み
- 01行動前後の映像
- 02物体対の関係を表現
- 03変化から行動を逆推定
- 04関係予測と行動候補
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
JEPAは画素そのものではなく、映像を圧縮した特徴を予測する世界モデルの構成である。計画に使いやすい一方、内部の数字が物体の接触や位置関係のどれに対応するかは分かりにくい。
関係を表す専用の成分を作っても、予測課題がそれを必要としなければ、意味のない符号のまま残り得る。Inside-JEPAは、内部表現に分かりやすい関係を持たせるには何の学習信号が必要なのかを、対照条件をそろえて調べる。
手法
順序を持つ物体の対ごとに関係用のチャネルを設け、JEPAの潜在状態の中へ入れる。通常の将来特徴の予測に加え、前後の関係チャネルの変化から、どの行動が行われたかを復元する逆ダイナミクス損失を加える。損失は学習時に誤りを減らす目標のことである。
関係ラベルを直接教えなくても、正しい行動を説明するために関係成分を使わざるを得なくする狙いだ。例えば物体の配置が変わった前後から操作を当てさせ、単なる将来予測では使われない関係情報を学ばせる。逆推定を物体特徴だけで行う条件や、行動ラベルを乱す条件とも比較し、どの経路が意味付けに必要かを検証する。
新規性
新規性は、後から潜在表現を説明するだけでなく、物体間の関係を担う成分を状態の内部に置き、その意味が形成される条件を検査した点にある。関係の正解ラベルを直接使わない学習でも、行動の情報が重要になる。
解釈の都合に合わせて多数の成分から意味を探すことを避け、一つの関係を一つの成分へ対応させる。無作為の関係ヘッドとも比較し、見かけだけの意味付けを検出する設計である。
従来手法との違い
将来の潜在特徴を予測するだけでは、関係成分は無作為の基準と同程度か、それ以下だった。逆推定器が関係成分を読む条件では改善し、物体特徴だけから行動をよく当てても、関係の意味付けはほとんど改善しなかった。
ラベルを並べ替える条件、二つのラベル不要な目標、行動ラベルを物体対の5%だけに与える条件も、同様の意味付けを達成しなかった。補助課題を追加するだけでなく、正しい行動情報をどこへ通すかが重要である。
実験結果
Something-Something V2の注釈枠を使う十設定で、関係AUROCは0.065から0.103改善した。未知課題を含むRH20Tのロボット記録では0.081、既存の検出・追跡器を使う五関係では0.050から0.061の改善だった。
一段階の関係目標では、16チャネルの教師あり読み出しが65行動中の正解を上位五つに含める率は約43%で、予測のみの約24%、頻度事前分布の約17%を上回った。この行動選択の評価には教師あり読み出しが含まれる点を区別する必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ロボット操作動画の世界モデルで、内部の物体関係を点検する用途に使う。入力は行動前後の映像と実際の操作情報、出力は学んだ関係成分と、候補行動による次の関係の予測にする。
担当者は、モデルが単に画像の変化を当てるだけか、対象同士の関係を行動と結び付けているかを確認できる。関係表現を計画へ渡す前に、未知の物や視点で同じ意味が保たれているかを診断する補助として考えられる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：関係が明確な短い操作記録に絞り、予測のみと関係成分を読む逆推定付きモデルを比較する。評価用には人が少数の関係注釈を付け、学習にはその注釈を使わない条件を保つ。
関係AUROC、行動選択の上位候補率、予測した関係変化を測る。行動ラベルの並べ替えと無作為ヘッドを対照に入れ、改善が偶然の対応でないか確認する。自動追跡を使う場合は、追跡誤りと表現の誤りを分けて記録する。
限界と課題
関係ラベルを不要にすることは、すべての教師情報が不要であることを意味しない。正しい行動ラベルが必要で、少量のラベル条件では意味付けできない結果も示されている。
編集上の確認点は、左右のような関係、物体検出が不安定な場面、長期の計画への拡張である。示された一段階の候補選択は実機の長期制御成功率とは異なるため、解釈可能な内部成分が得られたことと運用性能を分けて判断したい。
出典
元のタイトル・要旨を確認する（英語）
Inside-JEPA: From Prediction to Relational Grounding in Latent World Models
Joint-embedding predictive architectures (JEPAs) learn world models in latent space, enabling efficient planning but leaving their states opaque. We introduce Inside-JEPA, which places relational channels for ordered entity pairs inside the JEPA latent state and shows that an inverse-dynamics loss can ground these channels without relation labels when its head reads them, either alone or as part of the full state. On Something-Something V2, latent prediction alone performs no better than a random relation head, while inverse-dynamics supervision that recovers actions from channel changes improves relational AUROC by .065-.103 across ten settings with annotated boxes, by .081 on RH20T robot episodes with held-out tasks, and by .050-.061 across five relations using off-the-shelf detection and tracking. An inverse head on entity latents decodes actions more accurately but barely improves relational grounding; shuffled labels, two label-free objectives, and action labels on only 5% of the pairs also fail to ground the channels. Given an action, predicted relational changes approach the quality of observed future relations (AUROC .599 vs .621). For one-step relational goals, a supervised readout of the 16 channels ranks the correct action among the top five of 65 in 43% of cases, compared with 24% for prediction-only latents and 17% for a frequency prior.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-23