アーカイブ / VLM / Robotics / AI Agent
室内シミュレーションの経験から行動と成功判定を更新するSELU
SELU
SELUの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) External Feedback
概要
- SELUは、行動を選ぶモデルと成功を判定するモデルを、環境内で集めた軌跡から反復して更新する。
- 失敗判定を対象物の状態への自問で見直し、別の目標を達成した軌跡は指示を付け替えて学習に使う。
- 著者のLLaVA実験では、AI2-THORとVirtualHomeの両方で、平均成功判定精度と平均タスク成功率が初期モデルを上回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SELUの仕組み
- 01指示と現在画像
- 02行動軌跡を収集
- 03最終画像で成功判定
- 04自問と目標付け替え
- 05両モデルを更新
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SELUは、画像を見て行動するモデルを、初めて使う環境での経験から改善する手法だ。画像と言葉を扱うマルチモーダル大規模言語モデルでも、不慣れな環境では物体の位置や状態を読み違え、指示に合わない行動を選び得る。
人による評価や環境からの成功報酬を毎回得られるとは限らない。そこで、行動の選び方に加え、作業後の画像から「戸棚は開いたか」を判定する能力も改善の対象になる。
手法
SELUは、行動を選ぶアクターと成功を判定するクリティックを使う。アクターは指示と現在の画像から行動案を出し、各時点の画像と行動を軌跡として残す。クリティックは最後の画像を見て、元の指示を達成したか判定する。
失敗と判定したら対象物の状態を自問して見直す。なお失敗でも、例えば「戸棚を開ける」代わりに「引き出しを開ける」を達成した軌跡は、指示を付け替えて使う。これを事後的な目標付け替えという。成功と判断した軌跡の各時点でアクターを、最終画像と指示の組でクリティックを追加学習し、収集と更新を繰り返す。
新規性
SELUが提案するのは、行動を選ぶモデルと成功を判定するモデルを、外部の成功報酬や人の注釈なしで反復して更新する構成だ。行動の改善で得た軌跡を次の判定モデルの学習に使う。
判定モデルの更新には、対象物の状態を問い直す自問と、別の目標を達成した軌跡の目標付け替えを組み合わせる。著者は、環境の理解も学習対象にする点を重視している。
従来手法との違い
DGは初期モデルを追加学習せずに使う。SCは複数の推論を多数決し、Self-Refineは回答を反省して修正する。LMSIは多数決で得た確信度の高い回答を追加学習に使う。SELUでは成功判定モデル自体も更新する。
SELU-Oneは一つのモデルに行動と判定を兼ねさせる比較法だ。AI2-THORでLLaVAを使った実験の平均成功判定精度は、SELU-Oneが41.56%、SELUが83.11%。この比較は、示された環境とタスクの条件に限られる。
実験結果
著者はAI2-THORで「拾う・開ける・壊す」、VirtualHomeで「つかむ・開ける・座る」を評価し、全タスクを最大10ステップとした。LLaVAを用いたAI2-THORの平均成功判定精度はDGの55.89%からSELUの83.11%、平均タスク成功率は49.61%から69.56%になったと報告する。
VirtualHomeでの同じ平均値は、成功判定精度が44.17%から74.83%、タスク成功率が68.28%から94.83%だった。AI2-THORのQwen-VLでも両指標の平均値が上がった。これらは示された仮想環境、モデル、タスクでの結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：仮想の収納作業で「戸棚を開ける」という指示への適応を試す。入力は指示文と各時点のカメラ画像、出力は次の行動案と、作業後の画像から得る成功判定とする。実行した行動も軌跡として記録する。
更新には同じ仮想環境で集めた軌跡、行動時の画像、最終画像が必要だ。学習時に人の成功ラベルは使わず、検証時には人が確認した達成ラベルを別に用意する。対象物や実行可能な行動が変わる場合は、その環境で改めて適応を試す。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：仮想の収納作業で、指示文、各時点のカメラ画像と行動、最終画像を記録する。初期モデルを更新しないDGを基準に、同じ作業集合でSELU更新後の結果と比べる。学習用の成功ラベルは与えず、判定モデルが選んだ例で更新する。
評価用には学習に使わない作業軌跡を用意し、人が確認した達成ラベルを付ける。成功判定精度とタスク成功率を別々に測り、物体や指示ごとの誤判定も数える。画像の見え方と実行可能な行動が変わる環境では、その条件に合わせて収集と適応をやり直す。
限界と課題
著者が示した実験範囲では、AI2-THORのエージェントはLocobotで、ロボットアームの低水準制御は扱わない。訓練費用を考慮して全タスクを最大10ステップに制限している。初期の成功判定には誤りがあり得るため、自問による見直しを導入した。
編集上の検証事項は、モデル自身が成功と判断した学習例にどれほど誤判定が混じるか、より長い作業や実環境でも更新が有効かである。確認できた本文の範囲では、実機での成績や安全性は判断できない。
出典
元のタイトル・要旨を確認する（英語）
SELU: Self-Learning Embodied MLLMs in Unknown Environments
Recently, multimodal large language models (MLLMs) have demonstrated strong visual understanding and decision-making capabilities, enabling the exploration of autonomously improving MLLMs in unknown environments. However, external feedback like human or environmental feedback is not always available. To address this challenge, existing methods primarily focus on enhancing the decision-making capabilities of MLLMs through voting and scoring mechanisms, while little effort has been paid to improving the environmental comprehension of MLLMs in unknown environments. To fully unleash the self-learning potential of MLLMs, we propose a novel actor-critic self-learning paradigm, dubbed SELU, inspired by the actor-critic paradigm in reinforcement learning. The critic employs self-asking and hindsight relabeling to extract knowledge from interaction trajectories collected by the actor, thereby augmenting its environmental comprehension. Simultaneously, the actor is improved by the self-feedback provided by the critic, enhancing its decision-making. We evaluate our method in the AI2-THOR and VirtualHome environments, and SELU achieves critic improvements of approximately 28% and 30%, and actor improvements of about 20% and 24% via self-learning.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01