多言語・長文・三つの検索方式を一つにしたM3-Embedding
- M3-Embeddingは100を超える言語、三つの検索方式、最大8,192トークンの入力を一つのモデルで扱う。
- 著者らのMIRACL評価では、三方式併用の平均nDCG@10は70.0、密な方式のみでは67.8。
- 異言語検索では共通語が少なく、疎な検索の寄与は課題に応じて確かめる必要がある。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
長文を要約の木にして探すRAPTORは、複数箇所を読む質問にどう効くか
- RAPTORは文書の断片を意味の近さでまとめ、要約を重ねた木から質問に合う文脈を探す。
- 著者らはQuALITYでRAPTORとGPT-4の正答率82.6％を報告するが、比較対象とはシステム構成も異なる。
- 実務では要約の誤り、原文への追跡可能性、文書更新時の作業量を確認する。
検索結果が外れたときに回答を立て直すCRAG
- 検索結果を三段階で判定し、文書抽出・ウェブ検索・併用を切り替える。
- SelfRAG-LLaMA2-7bを使ったPopQAでは、通常のRAGの40.3に対しCRAGは59.3の正答率を報告した。
- 生成モデルと課題によって改善は異なり、LLaMA2-hf-7bのPubHealthでは正答率が変わらなかった。
大量のラベルなし画像を使い、1枚の写真から奥行きを推定するDepth Anything
- 約150万枚のラベル付き画像と約6200万枚のラベルなし画像を組み合わせて学習する。
- 未知データDDADの相対深度評価で、著者らはMiDaS v3.1より低いAbsRelを報告した。
- 基礎モデルの奥行きは相対値であり、実距離の推定には距離情報による追加学習が必要となる。
各単語で二つの専門部品を選ぶ言語モデルMixtral 8x7B
- 各層の八つの専門部品からトークンごとに二つを選び、約130億のパラメータを稼働させる。
- 著者らの評価ではHumanEvalが40.2%で、Llama 2 70Bの29.3%を上回った。
- 全体の重みは約470億パラメータ分あり、稼働数だけでは必要メモリや実速度は分からない。
カメラ設定が不明な写真から三次元の形を作るDUSt3R
- 二枚の写真から、各画素に三次元座標を割り当てた点マップと信頼度を推定する。
- 三枚以上では写真の組ごとの点マップを整列し、形状や深度、カメラ情報を取り出す。
- 著者らは複数の三次元視覚課題で評価したが、確認できた本文の範囲では個別の誤差値を示せない。
検索するか、引用が答えを支えるかを自ら判定するSelf-RAG
- 生成途中の専用記号で、検索の要否と回答の根拠・有用性を判定する。
- 必要時には複数の資料を評価し、引用に支えられた回答候補を選ぶ。
- 著者らは複数課題で従来の言語モデルや検索付きモデルを上回ったと報告する。
異なるロボットの操作記録を合わせて学ぶOpen X-Embodiment
- 21機関・22種類のロボットを含む100万件超の操作軌跡を共通形式へ集めた。
- RT-Xの評価では、少量データの五つの環境中四つでRT-1-Xが元の手法を上回った。
- データ量の多いBridgeではRT-1-Xが単独学習のRT-1を下回り、転移の効果は条件次第だった。
実際のGitHub課題を修正できるか測るSWE-bench
- 実際のGitHub課題と修正前コードを入力し、生成差分をテストで評価する枠組み。
- 12のPythonリポジトリから2294件を構築し、複数ファイルに及ぶ修正も含む。
- 著者らのBM25検索条件では、最良のClaude 2でも解決率は1.96％だった。
70億パラメータで性能と推論効率を両立するMistral 7B
- GQA、SWA、固定長の循環キャッシュを組み合わせ、回答生成時の処理負荷を抑える設計。
- 著者らの比較表ではMMLUが60.1％、GSM8Kが52.2％で、Llama 2 13Bの値を上回った。
- 知識課題には個別の例外があり、実務では日本語の正確さと長い履歴の扱いを別途測る必要がある。
役割を持つエージェントの対話でAI業務を組み立てるAutoGen
- 言語モデル、人、道具を役割別のエージェントにし、メッセージの往復で作業を進める。
- 自動応答、途中での人の参加、会話内容に応じた話者の選択を設計できる。
- 数学の二問では各三回中三回正解したが、示された数値だけで一般的な成功率は判断できない。
複数の写真から高品質な視点移動を実現する3D Gaussian Splatting
- 写真から得た疎な三次元点を起点に、形と透明度を持つガウス分布で場面を表す。
- 分布を増減しながら最適化し、画面上で見える順序に沿って重ねて描画する。
- 著者らは既存データで、1080pの新規視点表示が毎秒30枚以上だったと報告する。