人物動画の編集で表情の動きを引き継ぐFYM：画面位置の特徴と顔の特徴点を利用
- FYMは、単眼動画から描画した人物像の動きを、編集後の動画を生成する条件として使う。
- 顔の特徴点のずれに応じて動きの情報の重みを更新し、表情のつながりを調整する。
- 著者らの表2では時間的一貫性の利用者選択率は75％。表1の「total error」はFYMが0.53、PortraitGenが0.52だった。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
EdgeInfinite：長文の中間部分を圧縮し、端末向けLLMの記憶量を抑える方法
- 長い入力の中間部分を圧縮メモリに蓄え、学習したゲートで現在の区間の情報と組み合わせる。
- 著者らのLongBench評価では、21課題の表中平均スコアがEdgeInfiniteで25.71、FullKVで24.20だった。
- 単一文書QAの区分平均はFullKVを下回り、正確な情報の取り出しには個別の検証が必要だ。
ロボットアームの移動中も対象を見る：情報量を使った軌道計画
- ボクセル地図と視線計算を使い、移動中の観察情報を含めてロボットアームの経路を選ぶ。
- 著者らの計算速度評価では、1,000候補視点の条件でGPU版がCPU版より平均で約75%短時間だった。
- 候補が少ない場合のGPU負担や、実作業空間での再計画と停止条件は個別に検証する必要がある。
実行中の値を調べてコードを直す、対話型デバッグ環境「debug-gym」
- debug-gymは、コード修正エージェントがリポジトリを調べ、実行状態を確認し、修正を試すためのテキストベース環境である。
- ファイル表示、実行、pdbによる調査、指定行の書き換えを道具として備え、テストによる成功判定を返す。
- 確認できた本文には予備実験の結果数値がなく、既存の修正手順に対する性能差は判断できない。
ICG-MVSNet：画像内の位置情報と視点間の対応から奥行きを推定
- 画像内の縦横の位置関係と、粗い段階・細かい段階で得た視点間の対応情報を組み合わせて奥行きを推定する。
- 著者らのDTU評価では点群Overallが0.289 mmで、比較表のGeoMVSNetの0.295 mmを下回った。一方、Tanks and TemplesのMeanはGeoMVSNetのほうが高い。
- 著者らは大量の正解ラベル付き学習データが必要と述べている。実務対象では形状誤差と復元の欠けを別途検証する必要がある。
SNSの道路動画と投稿文から質問を作り、映像AIの道路理解を測るRoadSocial
- SNSの道路動画と投稿文・返信を使い、専門家の確認を経て26万組の質問・正答を作成した。
- 18種類の映像言語モデルを、道路上の出来事の理解や映像と食い違う質問への応答で評価した。
- 著者らの表では、LLaVA-OV-7Bの全課題平均が追加学習前の50.0から追加学習後の69.4になった。
物体の対応を時間をまたいでそろえるRGB-D地図作成手法「STAMICS」
- RGB-D画像からカメラの軌跡と意味情報付き3D地図を作る手法。
- 画像間の物体領域をグラフで対応付け、その整合性を地図更新に反映する。
- 著者の掲載表では、TUM-RGBDのATE RMSE平均がSTAMICSで5.11、SplaTAMで5.53だった。
InternVL-X：画像を分割・圧縮し、言語モデルの層ごとに視覚情報量を調整
- InternVL-Xは画像特徴の集約、言語モデルの層内処理、高解像度画像の分割という3段階で視覚トークンを調整する。
- 著者らの12課題の表では、高解像度8B版の平均が再学習版InternVL2の62.13から64.47へ変化し、視覚トークン数は約1282から約520になった。
- RVTC単独の6課題分析では学習時間が13.5時間から8.6時間になった一方、表中のAccuracyは58.77から58.21へ下がった。
通常CTの特徴をGSI画像に近づけ、金属周辺の乱れを抑える手法
- 同一患者の通常CTとGSI CTを対応付け、圧縮した特徴を変換して金属周辺の乱れを抑える手法。
- 著者らの部品別評価では、全構成のPSNRは37.9146、SSIMは0.9690、LPIPSは0.0198だった。
- 別メーカーのCTには対応する正解画像がなく、その試験は定性的な比較に限られる。
手と対象物を追跡し、複数視点から腕と手の動作を学ぶ「OminiAdapt」
- 初期画像で手と対象物を特定し、後続の複数視点の映像で追跡しながら腕と手の動作列を予測する。
- 著者らの各20回の比較試験では、リンゴ採取の成功率はOminiAdaptが90%、HITとACTが各35%だった。
- 著者らは複数視点の不一致と触覚情報の未利用を限界として挙げている。
検索記事の偏りを検出し、回答に分析を添えるAIエージェント
- ニュース記事の関連箇所を検索し、偏り検出器の判定と理由を回答に添える。
- 著者らは表1の偏りあり20件・なし14件について、F1値の加重平均0.795を報告した。
- 複数記事で判定が割れる場合の扱いと、評価表の集計単位には確認が必要。
障害物の材質を知識グラフで推定し、車両の回避行動に反映する
- 物体名と寸法を知識グラフの材質属性につなぎ、障害物への行動を選ぶ方法。
- CARLAの静止障害物15種類では、車線変更可能時の変更件数は標準制御7件、提案方式8件だった。
- 実験では物体名を事前入力した。結果表は衝突と停止を区別せず、実車での安全性も示していない。