アーカイブ / LLM / Robotics
言語で中間目標を組み立て、移動技能を再利用するロボット学習法
LDSC
LDSCの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Comparison of HRL and LDSC in terms of exploration, generalization, and usability. (a) Inefficient Exploration: LDSC improves exploration by leveraging subgoals to guide the agent efficiently, reducing the need for exhaustive search. (b) Lack of Option Generalization: Unlike HRL, which learns state-oriented options that do not generalize well, LDSC learns goal-oriented options that can be reused across different tasks. (c) Limited Usability of Options: LDSC structures options around subgoals, enhancing their reusability for multiple tasks, improving learning efficiency, and enabling better skill transfer.
概要
- LDSCは作業指示から中間目標の関係木を作り、目標、オプション、具体的な行動の順にロボットの動作を決める。
- 著者らのMuJoCo上のMazeでは、成功率はLDSCが100％±0％、DSC・DDPG・Option-Criticが各0％±0％だった。
- 言語モデルによる中間目標の順序は常に正確とは限らず、実環境への適用には目標判定と状態取得の検証が要る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LDSCの仕組み
- 01作業指示と初期状態
- 02中間目標の関係木
- 03オプション選択
- 04移動行動
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
鍵を取ってから錠へ向かうような作業では、最後まで進まないと成功を示す報酬が得られず、ロボットが有効な行動を見つけるまでに多くの試行を要する。強化学習は、行動後の報酬を手掛かりに行動の選び方を学ぶ方法だ。
階層型強化学習は長い作業を技能に分けるが、特定の状態間の移動に結び付いた技能は別の課題で使いにくい。著者らは、言語で表せる中間目標を手掛かりに、技能を選び直せる方法を提案した。
手法
LDSCは訓練前に、作業指示、環境の説明、制約、初期状態を言語モデルに渡し、中間目標の候補列を作る。候補を関係木にまとめ、共通の目標を共有する。訓練中は言語モデルに追加で問い合わせず、現在の状態と指示から次の目標を選ぶ。鍵と錠の課題なら「鍵を取る」「錠に到達する」という順序が例となる。
続いて、目標へ向かうオプションを選ぶ。オプションは、開始できる状態、内部の行動規則、終了条件を一組にした技能だ。その内部の規則が具体的な移動行動を出す。目標とオプションの選択には深層Q学習を使い、経験から各選択の将来の報酬を見積もる。目標への到達経験を集め、新しいオプションを学習して選択肢に加える。
新規性
LDSCは、言語モデルが作る中間目標の順序を関係木にまとめ、各目標に向かうオプションの学習と選択につなぐ。複数の順序に現れる目標は、木の共有ノードとして扱う。
著者らが主張する進歩は、目標に結び付いた技能を段階的に増やし、別の課題でも使えるようにする点だ。実際にどの条件まで再利用できるかは、提示された評価の範囲で読む必要がある。
従来手法との違い
基礎となるDeep Skill Chaining（DSC）は、長い課題を複数の技能につないで学ぶ階層型強化学習法だ。LDSCは、言語モデルによる中間目標の生成と、関係木に沿った目標選択をこの枠組みに加える。
実験では、連続的な行動を学ぶDDPGと、技能の選択方法も学ぶOption-Criticも比較した。これらとの数値比較は、著者らが設定したMuJoCoの迷路課題についての結果であり、別の環境での優劣を示すものではない。
実験結果
著者らは物理シミュレーションMuJoCoのMaze、Four Rooms、E-Maze、Tunnelで、DSC、DDPG、Option-Criticと比較した。提示された図と表は平均報酬、成功率、時間を扱い、言語モデルの推論にはChatGPT-o1を使ったと記す。
表のMaze成功率はLDSCが100％±0％、３比較手法がいずれも0％±0％。Four RoomsではLDSCが95％±2％、DSCが86％±8％で、表の時間はそれぞれ678±208秒、1035±479秒だ。著者らは平均報酬が比較手法を平均55.9％上回ると報告するが、確認できた本文の範囲では、その集計条件やばらつきは分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：施設内でカードを受け取ってから施錠区画へ向かう搬送手順を、まずシミュレーションで扱う。入力を作業指示、地図、位置・向き・移動速度・カード保持状態とし、出力を次の目標と移動行動にする。
学習には状態・行動・報酬の試行記録と、カード受取・区画到達の成否ラベルが要る。実機へ移すなら、各状態を取得するセンサーまたは状態推定を用意し、施設の通行条件に合わせて目標の順序と達成判定を調整する。効果は未検証の仮説だ。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：カード受取から区画到達までを小さなシミュレーションにし、同じ地図、開始位置、報酬条件でLDSCとDSCを比べる。人が中間目標の順序を点検し、カード受取と到達の成否を記録する。
学習用に状態・行動・報酬の試行記録と各目標の成否ラベルを用意する。位置、向き、移動速度、保持状態を得るセンサーまたは状態推定も必要だ。施設の地図と通行条件に合わせて達成判定を調整し、成功率、時間、誤った順序を選んだ回数を測る。
限界と課題
著者らは、言語モデルが提案する中間目標の順序は、常に正確または最適とは限らないと述べる。複数の候補を関係木で扱うが、誤った候補が結果に与える影響の大きさは、確認できた本文の範囲では判断できない。
編集上の検証事項は、地図や開始位置を変えた際の成功率、目標達成の誤判定、状態取得の誤差に対する挙動だ。提示された実験はMuJoCoの４種類の地図で行われており、施設での運用成績や実機の安全性を直接示していない。
出典
元のタイトル・要旨を確認する（英語）
Option Discovery Using LLM-guided Semantic Hierarchical Reinforcement Learning
Large Language Models (LLMs) have shown remarkable promise in reasoning and decision-making, yet their integration with Reinforcement Learning (RL) for complex robotic tasks remains underexplored. In this paper, we propose an LLM-guided hierarchical RL framework, termed LDSC, that leverages LLM-driven subgoal selection and option reuse to enhance sample efficiency, generalization, and multi-task adaptability. Traditional RL methods often suffer from inefficient exploration and high computational cost. Hierarchical RL helps with these challenges, but existing methods often fail to reuse options effectively when faced with new tasks. To address these limitations, we introduce a three-stage framework that uses LLMs for subgoal generation given natural language description of the task, a reusable option learning and selection method, and an action-level policy, enabling more effective decision-making across diverse tasks. By incorporating LLMs for subgoal prediction and policy guidance, our approach improves exploration efficiency and enhances learning performance. On average, LDSC outperforms the baseline by 55.9\% in average reward, demonstrating its effectiveness in complex RL settings. More details and experiment videos could be found in \href{https://raaslab.org/projects/LDSC/}{this link\footnote{https://raaslab.org/projects/LDSC}}.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01