アーカイブ / Robotics / Generative AI
記録に沿う行動と高い予測価値を、三つの方向で統合するCoDrift
CoDrift
CoDriftの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of CoDrift. Conditional and marginal behavioral fields keep generated actions within the support of the offline data at two statistical scales, while the value field moves them toward higher-return regions. The three are composed additively into a single policy field V CoDrift V_{\mathrm{CoDrift}} .
概要
- CoDriftは、状態ごとの行動分布、全体の行動分布、予測価値を三つの移動方向として統合する。
- 著者はOGBenchとD4RLの計73課題を評価し、記録のみと追加学習の両設定で平均順位が最良だったと報告する。
- 運用時は状態と乱数から一回のモデル計算で行動を出す。対象用途での達成率と行動の逸脱は別途検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CoDriftの仕組み
- 01状態と行動の記録
- 02候補行動を生成
- 03三つの方向を合成
- 04生成器を学習
- 05状態から操作を出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CoDriftは、収集済みの経験から次の行動を選ぶ方策を学ぶ。オフライン強化学習とは、環境で試行を追加せず、状態・行動・報酬・次の状態の記録で方策を作る方法である。記録しか使えない場面で行動を改善したいときに関わる。
記録から離れた行動では、結果の良さを予測する値が当てになりにくい。一方、記録をそのまま模倣するだけでは、高い報酬につながる行動を優先できない。記録との整合性と予測価値の両方を扱うことが課題となる。
手法
学習時は各状態と乱数から候補行動を作る。条件付き場は、その状態で記録された行動へ候補を寄せる。周辺場は一組の学習例に含まれる複数状態の行動を参照し、行動全体の分布を合わせる。「場」とは、候補をどちらへ動かすかを示す方向で、二つの場には生成した行動同士が集まりすぎるのを抑える成分もある。
価値場は、行動の良さを予測する評価器の値が増える方向を使う。三つの方向を重み付きで足し、その方向へ動かした候補に生成器の出力を近づける。例えば到達課題の状態と操作を記録から学んだ場合、運用時は現在の状態と乱数を入力し、一回のモデル計算で連続値の操作を出す。
新規性
CoDriftの提案は、記録された行動への適合と予測価値の向上を、どちらも候補行動の移動方向として表し、足し合わせて方策を学ぶ点にある。状態ごとの行動分布を保つ方向に加え、複数の状態にまたがる行動分布を合わせる方向を用いる。
後者は、連続制御の記録では同じ状態に対応する行動が実質一件しかなく、前者の推定がばらつき得るという問題への対応である。著者は、学習時に統合した方向を生成器へ取り込むことで、運用時に一回のモデル計算で行動を出せると説明する。
従来手法との違い
著者はオフライン評価で、行動模倣のBC、価値も扱うIQLやReBRAC、拡散型やフロー型の方策を含む11手法と比較した。追加学習の設定では、Cal-QLとRLPDも比較対象に加えている。比較手法の成績は先行研究から採用した。
既存の行動正則化法は、価値を高める目的と、記録行動からの逸脱を抑える項を組み合わせる。CoDriftはそれらを行動空間での移動方向に直して統合する。著者は、運用時には逐次的な行動生成を行わず、一回のモデル計算で出力する設計としている。
実験結果
著者はOGBenchとD4RLの計73課題で、記録だけを使う学習を評価した。記録で事前学習してから環境で追加学習する設定は15課題で評価した。対象には移動、操作、画像を入力とする課題が含まれ、著者は両設定で平均順位が最良だったと報告する。
指標はOGBenchとD4RLのAntMazeで成功率、D4RLのAdroitで正規化リターンを用いる。CoDriftの結果は通常8個、画像課題は4個の乱数初期値で平均した。評価は各回50エピソードで行い、OGBenchは最後の3回、D4RLは最終回の結果を報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：過去の試行記録があるロボットの到達動作について、シミュレーション内で次の操作を選ぶ用途を想定する。学習には、状態を得るセンサーの定義、連続値の操作、報酬、次の状態を対応付けた時系列記録が要る。達成率の測定には、到達を判定するラベルも用意する。
記録で学習した方策に現在の状態と乱数を入力し、次の操作を出力させる。対象の状態表現、操作範囲、報酬の定義に合わせて適応したうえで、まず記録上の評価とシミュレーションで確かめる。実機での効果は、この評価からは判断できない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象作業の状態、連続値の操作、報酬、次の状態を対応付けた記録をそろえる。状態を得るセンサーと到達判定ラベルの定義を固定し、観測値と操作の範囲を対象環境に合わせる。記録だけで学ぶ段階と、追加試行を許す段階は分けて評価する。
小規模な記録でCoDriftと行動模倣のBCを学習し、同じ保留データとシミュレーション条件で比較する。達成率、提案行動が記録の範囲から外れる割合、一行動を出す時間を測る。周辺場を外した条件も比べ、対象データでの寄与を確認する。
限界と課題
著者が述べる方法上の課題は、連続制御では同じ状態に対応する記録行動が実質一件で、状態ごとの移動方向の推定がばらつき得ることだ。複数状態の行動をまとめる周辺場で補う一方、状態と行動の対応を扱う条件付き場も併用している。
編集上の検証事項は、対象作業の状態と操作が記録の範囲から外れる頻度、三つの場の重みへの感度、行動を出す時間である。確認できた本文の範囲では、成績表は途中で切れており、全課題の数値や失敗例を照合できない。用途ごとの効果は別に測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
CoDrift: Compositional Drifting for Offline Reinforcement Learning
Offline reinforcement learning is intrinsically multi-objective: a policy must remain compatible with the behavioral support of a fixed dataset while preferentially selecting high-value actions. We recast these objectives in a common form by viewing each as an action-space motion field that specifies how generated actions should move. This perspective enables heterogeneous learning objectives to be combined directly through field composition. Inspired by drifting models, we propose CoDrift, a compositional framework for one-step generative policy learning. CoDrift combines three objective-level fields into a unified policy field. The conditional field preserves state-dependent behavioral structure, while the marginal field pools actions across states to provide a more stable generative signal in the single-positive-sample regime of continuous-control offline RL. The value field moves generated actions toward higher-value regions. The composed field is absorbed into a stochastic generator that produces an action with a single forward pass at deployment. We evaluate CoDrift on 73 tasks from OGBench and D4RL in both offline and offline-to-online settings. CoDrift compares favorably with state-of-the-art methods and achieves the best average rank in both settings.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01