ロボットの次の動きを「雑音から整える」Diffusion Policy
- 観測を条件に、雑音から連続した動作列を作るロボット方策。
- 著者らは四つのベンチマークの11課題で、成功率の平均改善率46.9％を報告した。
- 急な動作変更と実行時間は、対象作業で検証する必要がある。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
小さめの言語モデルを多くの文章で鍛える、初期LLaMAの検証結果
- LLaMAは、7Bから65Bのモデルを大量の公開文章で学習させた系列である。
- 13Bは、論文の多くの評価項目でGPT-3 175Bを上回った。
- MMLUなどでは優位でなく、日本語業務への適用は別途評価が要る。
APIを呼ぶタイミングまで学ぶToolformer、業務利用で見るべき点
- 少数の例からAPI呼び出し候補を作り、文章予測に役立つものを学習に使う。
- 著者らのSVAMP評価ではToolformerが29.4、GPT-Jが5.2だった。
- 検索や多言語課題では限界があり、業務では引数と最終文の両方を確認したい。
正解文書の指定なしで探すHyDE、仮の回答から実文書へつなぐ検索法
- 質問から仮の回答文書を作り、その表現に近い実文書を検索する。
- 著者らのTREC DL19評価では、nDCG@10がHyDE 61.3、Contriever 44.5だった。
- 仮文書には誤情報があり得るため、回答の根拠は返された原文で確認する。
画像と指示からロボットの動作を決めるRT-1：多様な実演を学ぶ制御モデル
- RT-1は言語指示と6枚の画像履歴から、腕・把持部・移動台の動作を出す。
- 著者らは約13万件の実演と3000回超の実機試行を用い、学習済み指示で成功率97％と報告した。
- 比較結果は特定の機体とキッチン環境に基づくため、別環境では完了率と失敗時の挙動を検証する必要がある。
E5は文章検索をどう改善するか：大規模な文章ペアで学ぶ埋め込み表現
- E5は関連する文章ペアを近づける対比学習で、文章を一つのベクトルに変換する。
- BEIRの15データ平均では、事前学習のみのE5-PT-baseがnDCG@10で42.9、BM25が41.7だった。
- 長文や厳密な語句一致には課題があり、日本語の社内文書では現行検索との比較が必要である。
考えてから操作し、結果を見て考え直すReAct
- 考え・行動・観測を繰り返し、外部情報を使って次の操作を決める。
- WebShopでは著者らの報告で成功率40.0％となり、操作のみの30.1％を上回った。
- HotpotQAでは単独のReActがCoTを下回り、課題によって組み合わせが有効だった。
YOLOv7の実時間物体検出：学習方法とモデル設計で速度と精度を両立
- YOLOv7は特徴抽出構造、学習目標の与え方、学習後の計算経路の統合を組み合わせた物体検出器である。
- MS COCOのtest 2017で、著者らはYOLOv7のAP 51.4％、161 FPSを報告した。
- 現場導入では平均APに加え、対象別の見逃し率と画像取り込みを含めた処理時間を測る。
BoT-SORTで人を追跡する：カメラの動きと見た目を考慮した映像内の対応付け
- BoT-SORTはByteTrackに枠の形の予測とカメラ移動の補正を加え、ReID版では外見も使う。
- 著者らはMOT17テストでReID版のMOTA 80.5、IDF1 80.2、HOTA 65.0を報告した。
- 実務ではIDの入れ替わりと処理速度を、実際のカメラ映像で併せて評価する。
ColBERTv2は検索精度と索引容量をどう両立するか：単語単位の照合と圧縮
- ColBERTv2は質問と文書を語ごとの複数ベクトルで照合し、文書側の表現を圧縮して保存する。
- 著者らはMS MARCOでMRR@10が39.7、従来のColBERTは36.0と報告した。
- 本文の保存量削減は5～8倍と記され、実務では検索品質、索引容量、応答時間を同時に測る必要がある。
見失った人物を低信頼の検出枠から拾い直す動画追跡法
- 低信頼の検出枠を既存軌跡と再照合し、遮蔽時の追跡断絶を減らす。
- MOT17検証用データでSORTよりIDF1が76.9から79.3に改善した。
- ByteTrackはMOT17テストセットでMOTA 80.3、IDF1 77.3、単一V100で30 FPSを報告した。
大規模言語モデルの重みを固定し、小さな追加行列だけを学習する
- 元モデルの重みを固定し、小さな追加行列だけを学習する方式である。
- GPT-3のWikiSQLでは、著者らのLoRA設定が73.4％、全面学習が73.0％だった。
- 追加行列を元の重みに合成できる一方、異なる用途を一回の推論で混ぜる運用には制約がある。