音声と口元映像の認識器を発話ごとに調整、構音障害の未知話者で文字誤りを軽減
- 未処理の動画から文単位の音声と口元映像を対応付けた。
- 正解文を使わず、その場の発話で認識モデルを調整し、処理後は元の重みに戻す。
- 改善量はモデルと話者で異なり、誤り率がなお高い例や悪化する設定も残った。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
正しい発音の音声と記号を参照するX-MDD、未学習言語の発音誤りも例示で検出
- 学習者音声と正しい発音の音声・音素列から、実際に発した音を予測する。
- 中国語と英語で学習し、アラビア語では推論時の128例を使って検出F1が38.07となった。
- 正しい音素の丸写しを抑える工夫は有効だが、アラビア語で学習した比較手法の44.14には届かない。
短い商品IDだけで候補を並べ替えるReRankID、順位の改善と説明の正確さを分けて検証
- 履歴と候補を意味IDだけで表し、理由と順位を出す課題を構成した。
- 8Bモデルの段階的な順位報酬による追加学習は、約20倍長い文章を読む参照モデルに匹敵した。
- 順位が改善しても商品の記述は正確にならず、理由の監査が別に必要だった。
不適合を見抜いても理由が違う、3DVerifierBenchが生成物の判定と説明を分けて検証
- 物体、部品、把持、人物同一性、動きなど10課題で、指定要件に3D候補が適合するかを測る。
- 判定だけでなく拒否理由と、要件・候補を変えた関連例への一貫性を評価する。
- 人による候補選択と修正は改善余地を示したが、完全自動の検証器が同じ成果を出した結果ではない。
画像内の位置と3D空間の位置を並行して読むDK-VLM、視点変更を伴う推論を学習
- 元の意味理解用の注意を保ち、推定3D点とカメラ姿勢を用いる幾何用の注意を並列に追加する。
- 確認済みの単段関係をつないだ学習で、移動後の向きと参照座標の更新も教える。
- 80億モデルでVSI-Bench 74.33、ReVSI-32 58.28を報告し、一般動画理解も確認した。
見える材質を表面位置へ先に固定するSUPRA-Tex、文字や模様を保ちながら3Dの裏側を補完
- 参照画像から照明を分離した材質を推定し、見えるメッシュ表面へ投影してから生成する。
- 観測材質を生成対象と同じ潜在空間へ変換し、読み取り専用の基準として残す。
- 既知形状の二評価集合で、画像特徴を条件にする比較法より材質と見た目の一致を改善。
変化の小さい動画トークンは途中で確定、Speculative Forcingが残る領域へ計算を集中
- 拡散による途中の動画推定を下書きとし、最終出力に近いトークンから復元処理を止める。
- 確定した領域も注意計算のキーと値を残し、未確定領域の文脈として利用する。
- LongLiveでは平均約1.7復元段で4段版に近い品質を保ち、1.5倍超の高速化を報告。
実験結果が返る区間ごとに判断を学ぶMLExpert、長期の機械学習開発を最適化
- 実行可能なKaggle由来課題と、コード・ログ・候補を保持する実験環境を構築する。
- 実験結果の間に行った複数ターンの判断へ共有報酬を付けるWIRLで追加学習する。
- 350億MoEモデルのMLE-Bench Lite平均メダル率を37.9％から72.7％へ改善したと報告。
場面の変化とカメラ移動を分けるGeoState、同じ未来状態を別視点から深度へ復元
- 複数視点の幾何特徴を、特定のカメラに結び付かない固定長の場面状態へ集約する。
- 未来の場面状態とカメラ移動を別々に予測し、指定したカメラの光線で深度を復元する。
- Waymoで比較法を上回る深度予測を報告し、KITTIとnuScenesへの追加学習なしの転移も評価。
触覚を使って視覚も事前学習するSpark-0、触覚なしの運用でも操作成功率を改善
- 人の触覚から画像上の接触位置を作り、固定した3D教師の特徴とともに視覚表現を学習する。
- 運用時に触覚履歴を使う経路も備え、同じ学習済みモデルを視覚のみ・触覚付きで使う。
- 1,000時間のHumanTouchを用いた比較で、視覚のみの成功率52.5％から71.7％への改善を報告。
人の短い遊びを自律的な接触経験へ、DSPが学んだ世界モデルで多指操作を計画
- 目標を決めない人の操作から遊び方策を学び、ロボット自身が世界モデル用の経験を収集する。
- 同じ遊び方策を行動候補の生成にも使い、予測結果から目標へ近づく候補を選ぶ。
- 実機の物体姿勢変更で0.6ラジアン以内の成功90.0％を報告し、推論を軽くする蒸留も検討。
到達点だけでなく接近経路も学ぶPSA-PPO、水耕レタスの実収穫で成功率86.1％
- PPOの最適化規則を保ち、目標、横からの接近領域、経路履歴を収穫向けに設計する。
- 模擬環境だけで学習した方策を実機UR10eへ移し、共通150目標への到達率94.7％を報告。
- 視覚と収穫器具を統合した144試行では到達94.4％、収穫全体86.1％で、工程別に差があった。