専門家を広く配置し、注意機構を反復ごとに変えるMoE設計
- Foilは専門家の総数と呼び出し回数を保ち、各層の専門家数と反復回数を増やす。
- 著者らの100Bトークン実験では、Foil-1の事前学習損失が同予算のBaseより0.012 nat低かった。
- 注意機構を反復ごとに分ける効果と、実運用での応答時間は分けて確認したい。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
文学作品の聖書への言及を検索で探すとき、人の読解をどう組み合わせるか
- 189件の注釈を使い、デンマーク語聖書31,170節から関連箇所を探す検索方法を比較した。
- 上位10件で見つける割合は正規化BM25が0.365、追加学習後のDFM-largeが0.508だった。
- 注釈上の誤検出30件のうち7件は研究者が意味のある追加の関連と判断し、人の精読の必要性を示した。
揺れる積み荷が生む外乱を予測し、移動ロボットの追従制御に反映する
- 車両と結び付いた揺れを、時間とともに変化する隠れた外乱状態として学習する。
- 学習にはカルマン平滑化を、運用時の状態推定には逐次観測を取り込むフィルタを使う。
- 車両実験と振動系の評価で改善が報告されるが、確認できた本文の範囲に定量表はない。
動画生成の学習更新を投影し、画質の劣化を抑えるPDMD
- PDMDはDMDの更新方向から批評器の誤差に関係する成分を取り除く学習法で、追加のモデル計算を要しない。
- Wan2.1の4 NFE評価ではVBench総合点83.73で、同条件のDMDを1.03点上回った。
- 誤差削減の理論には仮定があり、動画の用途ごとに画質と動きの確認が必要になる。
検索順位の評価を細かく、質問をまたいで比べられる尺度にする
- RCPは質問内の文書比較と、全質問に共通する五つの合否基準を統合する。
- 項目反応理論で点数を質問間で比較可能にし、RCP-nDCGの連続的な関連度として使う。
- 著者らの評価では、NanoBEIRで有意差の付くモデル対が34.1％から63.5％に増え、人の採点との相関も改善した。
実行中のAIエージェントが使うトークン量を、履歴の増加まで含めて予測する
- 入力履歴の増加が後続の複数回の呼び出しに及ぼす消費を、区間の結合で表す。
- 四課題群・六モデルの96条件で、最良の比較手法に対する平均絶対誤差の削減率は平均14.5％だった。
- 21.3％のトークン節約はオフライン再生での結果で、タスク成功率の改善を示す値ではない。
一つの学習済みモデルを20段階の計算量で使うTLM
- TLMは各学習回で無作為に選んだ深さと最大深さを学び、一つのモデルから20通りの深さを使えるようにした。
- 200M規模の実験でAULBは3.28となり、固定出口方式の5.73～5.90より43～44％低かった。
- 固定出口での品質と全深さの利用可能性にはトレードオフがあり、単独学習した最大モデルとの差も残る。
人の全身動作をロボットの連続動作へ移し、移動と両手作業を一緒に学ぶ
- 人の一人称映像と全身動作を収集し、三段階の整合でロボット用の行動に変換する。
- 五つの実機課題で、人の実演を加えた平均成功率は二つのVLAモデルとも上がった。
- 変換軌道の再生精度と、学習後の作業成功率は別々に評価されている。
多視点画像から編集できる動物の毛を再構成するFurE
- 人の頭髪から学んだPCA表現を使い、動物の毛を毛根ごとの少数の係数から再構成する。
- 36視点とA5000 GPUで、毛の学習はNeuralFurの10.5時間に対し52分と報告された。
- 単層の毛と事前推定した体表が前提で、部位内の強い毛の変化は十分に評価されていない。
長い動画で新たに現れる面まで追う、3次元点追跡の省メモリ化
- 世界座標の点群を時間窓の境界で重複統合し、再観測した面の点が増え続けるのを抑える。
- 16フレーム単位で終点を求め、動く点だけの細かな軌跡を復元する。
- 著者らはTAPVid-3Dの短い動画でVDPMを平均APD-Pで20％超上回り、40GB以内で1000フレーム超を処理したと報告する。
ロボットが最初の配置と操作履歴を覚える固定長メモリ
- 操作と結果を更新する連想状態と、最初の場面を固定して残すアンカーを併用する。
- RMBenchの5課題で、著者らは平均成功率50.0％を報告した。現在情報だけのπ0は6.4％だった。
- 初期場面アンカーの効果は課題によって異なり、Block Rankingでは成功率が低下した。
画像を見て離散コマンドを選ぶVLMのロボット制御
- VLMが画像と実行結果を見ながら、移動・回転・把持器操作の命令を繰り返し選ぶ。
- RoboTwin 2.0 C2Rでは、GPT-6 Astra使用時に例なし53.2％、1例あり73.6％の成功率を著者らが報告した。
- 実機でのブロック操作も報告されたが、精密な位置合わせや姿勢調整は検証課題として残る。