画像と言葉の知識をロボット動作へつなぐRT-2
- 腕の動作を記号列にし、画像と言語を扱うモデルから直接予測させる。
- ウェブ由来の画像・言語課題とロボット実演軌跡を一緒に使って調整する。
- 著者らは約6000回の評価で未知条件への改善を報告する一方、身体的な技能は実演データの範囲に制約されると述べる。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
WebArena：ウェブ操作エージェントを「操作結果」で測る再現可能な評価環境
- 四分野の動作するサイトと補助ツールを使い、自然言語の依頼から長いウェブ操作を評価する。
- 812課題では操作列の一致より、回答やサイト状態が依頼を満たしたかを重視する。
- 最良エージェントの完遂率は入力要約と本文で数値が異なるため、版と条件を確認して扱う。
CoTracker：動画中の点をまとめて追い、遮蔽をまたぐ軌跡を推定する
- CoTrackerは複数の点を共同で追い、点どうしの動きの関係を軌跡推定に使う。
- 短い動画区間を重ねて処理し、各点の位置と可視状態を出力する。
- DAVIS FirstのAJは60.6だが、Kinetics Firstでは比較対象のTAPIRが上回る。
Voyager：課題の選択、実行コードの再利用、失敗後の修正で探索を続ける
- Voyagerは現在の状態から課題を選び、GPT-4が操作コードを作って実行する。
- 成功したコードを技能庫に保存し、後の課題で検索して再利用する。
- MineDojoでの比較では、160反復で63種のアイテムを発見したと著者らは報告する。
QLoRA：4ビットで基盤モデルを保持し、少数の追加重みを学習する
- QLoRAは基盤モデルを4ビットで保持し、LoRAの追加重みだけを学習する。
- 二重量子化とページ化オプティマイザで学習時のメモリ使用量を抑える。
- 65Bモデルを単一の48GB GPUで調整したと著者らは報告するが、業務品質は用途別の評価が必要。
ACT：両腕の細かな作業を、手本から一連の動作として学ぶ
- ACTは映像と関節位置から、両腕の次の複数時点の動作をまとめて予測する。
- 手動操作で集めた実演を学習し、重なる動作予測を平均して実行する。
- 著者らは実機六課題を評価し、電池挿入では25回の実行による表で96％の完了率を報告した。
画像への質問に答えるAIを、言語モデルと画像認識モデルから作る
- 画像の説明文と物体の位置情報を言語版GPT-4に渡し、画像への質問と回答を158,000件作成した。
- COCOの30画像・90問を使った著者らの評価で、LLaVAのGPT-4に対する相対スコアは85.1だった。
- ScienceQAの正解率はLLaVA単独で90.92％。要旨の92.53％はGPT-4との組み合わせによる結果である。
画像だけから汎用的な特徴を学ぶDINOv2、データ選別と大規模学習の効果
- 画像の類似性による選別を経て、1億4200万枚の学習集合LVD-142Mを構築した。
- 同条件のデータ比較では、未整理画像での学習よりImageNet-1k分類とOxford-M画像検索の値が高かった。
- 画像全体と小領域の特徴を学び、大きなモデルから小型モデルへの知識蒸留も行った。
点や枠の指定から対象を切り出すSAM、画像注釈を支える仕組み
- SAMは点や枠などの指定から、画像内の対象領域を示すマスクを生成する。
- 曖昧な指定には複数候補を返し、同じ画像への再指定では計算済みの画像特徴を使える。
- SA-1Bは1100万画像と約11億マスクを含み、標本調査では自動マスクの94％が修正後マスクとIoU 90％超だった。
画像と文章の対応を一組ずつ学ぶSigLIP、バッチを大きくする効果も検証
- SigLIPは画像と文章の各組を独立に判定するシグモイド損失で対応関係を学ぶ。
- 著者らの比較では、バッチが16,000未満の条件で従来のソフトマックス方式を上回った。
- バッチは最大100万まで試されたが、性能改善は約32,000で概ね頭打ちになった。
失敗を文章で振り返るAIエージェント、再試行の質をどう変えるか
- 失敗時に行動履歴と成否から反省文を作り、次の試行で参照する。モデルの重みは更新しない。
- 本文のAlfWorld評価では、134環境で最初の試行の成功率が63％、12試行までの累積成功率が97％だった。
- 本文のHotPotQA結果節では、100問・7試行までに54％を解き、反省なしのReActを20ポイント上回った。
言葉で対象を指定する物体検出、Grounding DINOの仕組みと検証点
- 画像と文章から、対象物の枠と対応する語句を出力する。
- COCOの学習画像を使わない評価で、著者らは52.5 APを報告した。
- 低頻度カテゴリや属性が似た対象は、利用現場の写真で別途確かめたい。