アーカイブ / Robotics / Generative AI
ドリブルからシュートへ、ボールを集める動作も学ぶバスケットボール制御
Learning to Ball
Learning to Ballの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . We introduce a novel policy integration framework to enable the composition of drastically different motor skills in multi-phase, long-horizon tasks, among them, shoot-off-the-dribble, catch-and-shoot, and board-and-bang (grabbing an offensive rebound and scoring immediately).
概要
- ドリブルとシュートの間に、ボールを集める方策を学習し、シュート方策も到達状態に合わせて調整する。
- 上位ルーターは利用者の移動・シュート指示を受け、複数の方策の動作を重み付きで統合する。
- 著者らは物理シミュレーション上のドリブルからのシュートで、成功率91.8％を報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Learning to Ballの仕組み
- 01動作例と目標
- 02基本方策を学習
- 03収集と射撃を適応
- 04指示で方策を統合
- 05選手と球の動作
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ドリブルからシュートへ進むには、跳んで投げる前にボールを集め、姿勢と体の向きを整える必要がある。各技能を単独で実行できても、移行中にボールを失えば一連の動作は失敗する。
この収集動作には、明確な開始点と終了点を置きにくい。著者らは、目標が明確な技能の間に曖昧な動作を挟む、物理シミュレーション上の複数段階の制御を扱う。
手法
この方法は、まずドリブルとシュートを別々に学び、次に両者をつなぐボール収集を学ぶ。方策とは、現在の状態と目標から次の動作を決める仕組みだ。著者らは全身、手、映像由来の動作例を使い、動作の模倣と課題ごとの報酬で基本方策を訓練する。対応するボール軌跡の参照データは必要としない。
収集方策はドリブル中に生じた状態から始め、ボール保持姿勢などの報酬とシュート方策の状態価値を手掛かりにする。状態価値は、その状態からシュート方策を続けた場合の報酬の見積もりである。学習中は収集後の状態を使ってシュート方策も調整する。実行時には、現在の状態と移動・シュートの指示を受けた上位ルーターが各方策の動作に重みを付けて統合する。
新規性
著者らの提案は、終了条件を決めにくいボール収集を、前後の技能を手掛かりに学習する点にある。ドリブル中の多様な状態を開始点とし、シュート方策の状態価値を到達先の評価に使う。
さらに、収集方策の学習中にシュート方策も到達状態へ適応させ、更新した状態価値を収集側へ戻す。実行時には上位のルーターが各方策の出力を重み付きで組み合わせる。
従来手法との違い
著者らによると、従来の混合専門家方式は個別方策が共通の状態を十分に経験している必要があり、技能連結は技能の終了状態を明確に定める必要がある。ドリブルとシュートの間では、ボール収集の境界を決めにくい。
提案法は収集方策を間に置き、後続のシュート方策も適応させる。実行時のルーターは、一つの方策だけを選ぶ方式と異なり、出力を重み付きで混ぜながら一つが主導するよう促す。比較方式との定量的な差は、確認できた本文の範囲では示せない。
実験結果
著者らは、物理シミュレーション上の基本技能と技能間の移行を評価した。ドリブルからボールを集めてシュートする課題では、ゴールに背を向けた状態や旋回などを含む多様なドリブル状態から、シュート成功率91.8％を報告している。本文では、この値をプロ仕様のコートでの結果とも述べる。
利用者の指示に応じた動作や、複数選手によるキャッチ、パス、リバウンド、守備も示されている。著者らはルーターと方策調整の要素を外す検証にも言及する。確認できた本文の範囲では、91.8％の試行数、データ分割、比較表の数値は分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ゲーム内の選手に、移動指示を受けてドリブルし、シュート指示で投げる連続動作を行わせる。入力は選手とボールのシミュレーション状態、目標速度、シュート指示で、出力は選手の動作とボールとの相互作用とする。
学習には全身と手の動作例、映像から得る姿勢、目標速度やシュートの指示、反則判定条件が要る。シミュレーション状態を取得できることを前提に、対象の選手モデルへ方策を適応させる。実際のゲームでの有効性は未検証だ。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象のシミュレーションで、目標速度を与えてドリブルし、指示後にシュートする課題を作る。全身と手の動作例、姿勢を得られる映像、選手とボールの状態を用意し、指示と反則判定条件を定める。入力にはシミュレーション状態を使い、実機センサーは想定しない。
対象モデルで基本方策、収集方策、後続方策を順に学習・適応させる。同じ開始状態と指示列で、単純な条件による切り替えを比較対象とし、シュート成功率、ボールを失う割合、反則回数、切り替え時間を測る。
限界と課題
著者らは、全身・指・ボールの動きが対応したデータは集めにくく、映像には遮蔽、奥行きの曖昧さ、画質差、動きによるぼけがあると述べる。また、単純な切り替え条件では、ボールを保持したまま止まる場合などがあると説明する。
編集上の検証事項は、動作例や開始状態が変わった際の成功率、反則の頻度、指示から切り替えまでの時間である。確認できた本文の範囲では、実機ロボットでの適用結果や、91.8％という値の試行数は確認できない。
出典
元のタイトル・要旨を確認する（英語）
Learning to Ball: Composing Policies for Long-Horizon Basketball Moves
Learning a control policy for a multi-phase, long-horizon task, such as basketball maneuvers, remains challenging for reinforcement learning approaches due to the need for seamless policy composition and transitions between skills. A long-horizon task typically consists of distinct subtasks with well-defined goals, separated by transitional subtasks with unclear goals but critical to the success of the entire task. Existing methods like the mixture of experts and skill chaining struggle with tasks where individual policies do not share significant commonly explored states or lack well-defined initial and terminal states between different phases. In this paper, we introduce a novel policy integration framework to enable the composition of drastically different motor skills in multi-phase long-horizon tasks with ill-defined intermediate states. Based on that, we further introduce a high-level soft router to enable seamless and robust transitions between the subtasks. We evaluate our framework on a set of fundamental basketball skills and challenging transitions. Policies trained by our approach can effectively control the simulated character to interact with the ball and accomplish the long-horizon task specified by real-time user commands, without relying on ball trajectory references.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01