アーカイブ / AI Agent
Voyager：課題の選択、実行コードの再利用、失敗後の修正で探索を続ける
Voyager
Voyagerの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Voyager discovers new Minecraft items and skills continually by self-driven exploration, significantly outperforming the baselines. X-axis denotes the number of prompting iterations.
概要
- Voyagerは現在の状態から課題を選び、GPT-4が操作コードを作って実行する。
- 成功したコードを技能庫に保存し、後の課題で検索して再利用する。
- MineDojoでの比較では、160反復で63種のアイテムを発見したと著者らは報告する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Voyagerの仕組み
- 01ゲーム内の状態
- 02次の課題を選択
- 03行動コードを実行
- 04技能を保存
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
開かれた環境で働くエージェントは、目標を一つ終えるだけでなく、今できることを踏まえて次の課題を選び、得た技能を後で使う必要がある。試行中には、操作の失敗や想定外の状態にも出会う。
VoyagerはMinecraftを舞台に、課題選択、コードによる行動、実行結果を使った修正を結び付けた。長期間の探索で技能が積み上がるかを調べる研究である。
手法
まず現在の持ち物、周囲、健康状態、過去の成功と失敗などをGPT-4に渡し、次に取り組む課題を選ぶ。関連する技能があれば、説明文に基づいて保管庫から探す。技能とは、採掘や製作などの行動をまとめた再利用可能なコードである。GPT-4は技能と操作APIを参照し、新しい課題のコードを作る。
コードを実行すると、環境の反応やエラーを次の入力に加えて修正する。別のGPT-4による自己検証が達成を認めれば、コードを技能庫へ入れ、次の課題へ進む。例えば道具の製作で材料が足りなければ、その結果を受けて手順を直す。四回の生成でも行き詰まった場合は、別の課題を選ぶ。
新規性
Voyagerの特徴は、次に挑む課題を提案する仕組み、成功した行動コードの保管庫、実行結果を使った修正の循環を一つのエージェントに組み合わせたことにある。技能を説明文で探して再利用し、より複雑な行動の部品にもできる。
課題の達成判定もGPT-4に担わせ、完了と判定されたコードを保管する。著者らは、モデルの重みを追加学習せずにMinecraft内で能力を蓄積する方法として示した。
従来手法との違い
著者らはReAct、Reflexion、AutoGPTをMinecraft上で動くよう調整して比較した。Voyagerは現在の状態に応じた次の課題を選び、成功した行動コードを保存する。比較手法は、同じ形の技能蓄積を備えていない。
ただし比較の対象は、高水準の操作APIを用いるエージェントである。画面の画素から低水準の操作を決める手法とは直接比較しておらず、この結果だけで視覚認識や細かな運動制御の能力は判断できない。
実験結果
著者らはMineDojo上でReAct、Reflexion、AutoGPTと比較した。160回の入力と応答の反復では、Voyagerが異なるアイテムを63種見つけ、比較手法に対して3.3倍、移動距離は2.3倍と報告する。技術段階の到達も測っている。
新しい世界での未経験課題では、持ち物を空にして試した。ダイヤのつるはし、金の剣、溶岩入りバケツ、コンパスの四課題で、Voyagerは各3試行を成功した。数値はMinecraftと指定の操作API、試行回数の条件に限られる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。社内の検証用ソフトウェア環境で、定型的な調査操作を実行するエージェントを作る。入力は現在の作業状態と利用可能な操作、出力は次の小課題、実行した操作コード、結果の記録とする。
まず容易な検索や一覧取得を課題にし、成功を担当者が確認したコードだけを技能として保存する。次の依頼では関連する技能を取り出し、実行時のエラーを使って修正する。実務への適用可能性は別途検証する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。外部に影響しない検証環境で、検索や一覧取得などの小課題を数種類用意する。各課題の成功条件と、実行してよい操作を先に定義し、成功と確認したコードだけを保存する。
基準には技能庫を使わない同じエージェントを置く。初回と再利用時の達成率、完了までの反復回数、コードの実行エラー、誤った成功判定の数を測る。途中で環境の状態を変えた場合も記録し、技能がそのまま使える範囲を調べる。
限界と課題
著者らは、GPT-4 APIの費用、正しい技能コードを作れず行き詰まる例、達成判定の誤りを報告する。存在しない道具を課題として挙げたり、使えない操作をコードに書いたりする例もある。視覚入力にも対応していない。
導入時には、実行できない課題をどう除くか、誤った成功判定が技能庫に残らないか、長い実行で費用と失敗回数がどう増えるかを確認したい。Minecraftでの成果を他の環境の性能とみなすことはできない。
出典
元のタイトル・要旨を確認する（英語）
Voyager: An Open-Ended Embodied Agent with Large Language Models
We introduce Voyager, the first LLM-powered embodied lifelong learning agent in Minecraft that continuously explores the world, acquires diverse skills, and makes novel discoveries without human intervention. Voyager consists of three key components: 1) an automatic curriculum that maximizes exploration, 2) an ever-growing skill library of executable code for storing and retrieving complex behaviors, and 3) a new iterative prompting mechanism that incorporates environment feedback, execution errors, and self-verification for program improvement. Voyager interacts with GPT-4 via blackbox queries, which bypasses the need for model parameter fine-tuning. The skills developed by Voyager are temporally extended, interpretable, and compositional, which compounds the agent's abilities rapidly and alleviates catastrophic forgetting. Empirically, Voyager shows strong in-context lifelong learning capability and exhibits exceptional proficiency in playing Minecraft. It obtains 3.3x more unique items, travels 2.3x longer distances, and unlocks key tech tree milestones up to 15.3x faster than prior SOTA. Voyager is able to utilize the learned skill library in a new Minecraft world to solve novel tasks from scratch, while other techniques struggle to generalize. We open-source our full codebase and prompts at https://voyager.minedojo.org/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29