画像分類モデルを学習途中で小さくするNNS：層を外す位置と時期の決め方
- NNSは学習中に各層の逆フィッシャー基準を追い、後段を外す位置と時期を決める。
- 著者らが調べた画像分類設定では、分割までの期間は全エポックの7.9～52％、パラメータ削減率は35.2～94.2％だった。
- 現場への適用では、元モデルとの分類精度、パラメータ数、監視処理を含む総学習時間を同じ評価画像で比較する必要がある。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
手話動画への質問に答えるSLQAM：語の位置から文の意味まで測る
- 著者らは、手話動画への質問に答える課題と、PHOENIX14T・CSL-Dailyの既存注釈から作る評価データを提案した。
- SLQAMは質問に応じて映像特徴を時間方向に圧縮し、手話認識、翻訳、質問応答の順に学習する。
- 著者らの両データセットのテスト分割では、Sign2Text2Answerより手話語認識のWERが低く、構造化質問のF1が高かった。
一部だけ対応が分かる多視点データを二度照合して群分けするDAS-PMVC
- 既知の対応試料を基準に初期照合し、学習後の特徴でもう一度対応を求める。
- 接続関係を使う特徴学習と対照学習を経て、スペクトルクラスタリングで群分けする。
- 六データセットで比較したと著者らは記すが、確認できる表には提案法の測定値がない。
頭部姿勢から全身メッシュを復元するEgoGVAE、128フレームの推論時間は0.026秒
- 頭部姿勢の時系列だけから、関節姿勢と体形を推定して全身メッシュを復元する。
- 学習時に全身姿勢から得た潜在分布で頭部側の分布を導き、推論時は一度の抽出で姿勢を生成する。
- 著者らの128フレームでの比較では、AMASSのMPJPEは106.7、推論時間は0.026秒だった。
点群から造形用G-codeを作るPrintAnything――層別の地図でメッシュ再構成を省く
- 点群を層ごとの二次元入力に変え、造形領域・構造区分・押し出しに関わる値の地図からG-codeを生成する。
- 著者らのSlice-100Kテストでは、CD 0.047、三次元F1 0.741、層別F1 0.677を報告した。
- 現場で使うには、対応するSTLとG-codeによる教師データに加え、点群の欠損、経路、実造形の確認が要る。
文章から全方向に描画できる動く人物を直接生成する4DHumanDiff
- 文章から、全方向に描画できる動く人物の4DGSデータを直接生成する。
- 著者らは文章と4DGSの組6万件を構築し、170件の文章による評価でMulti-View Consistency 0.862を報告した。
- 生成時間は1分未満と報告される一方、Image Qualityは比較手法の最高値を下回った。
抱擁や運搬の画像編集で、手足と接触の破綻を測るMPIE-Bench
- MPIE-Benchは、動画から選んだ2,500件の複数人接触画像編集課題を収録する。
- MPIE-Evalは復元した三次元の人体形状を使い、手足などの整合性と人物間の接触を別々に採点する。
- 10モデルのTrack A評価では二軸の最高モデルが異なり、170件の人手評価との順位相関では、形状由来の判定が10設問中9設問でVLM判定を上回った。
記事と動画を一つの推薦欄で順位付けするHA-MoE：形式ごとの違いをどう扱うか
- HA-MoEは内容種別などの情報を使い、行動ごとに専門家の配分と出力を調整する。
- 著者らは社内データでのオフライン改善とオンラインA/B試験での改善を報告するが、確認できた本文の範囲に実測値や改善幅はない。
- 導入時は、全体の順位に加え、異なる形式間の順位と形式別の結果を既存ログで検証する必要がある。
複数の医療画像から答えを選ぶAI、正答だけを学ぶ方法の安定性を比較
- MedFrameQAの保留した1,024件で、text35の平均正答率は51.52%。追加学習なしの45.21%を6.31ポイント上回った。
- 著者らの結論は、正答だけを学ぶ手法群の安定性についてであり、近い設定の中でtext35だけが明確に最良とはしていない。
- 代表的な1回の結果では、学習後の確信度補正で正答率52.25%を保ちながらECEが低下した。
将来の脳MRIを予測するProgFormer：全体構造と局所変化を分けて処理
- ProgFormerは、過去の脳MRIと年齢などを条件に、将来の三次元MRIをボクセル空間で生成する。
- パッチ単位で全体構造と撮影間の関係を扱い、その情報を参照してパッチ内の細部を補正する。
- ADNIの１枚入力では、ProgFormer-SのPSNRはCounterSynthを上回り、SSIMは下回った。
単眼動画を検索可能な3D地図に変え、物体単位で言葉を結び付ける
- 単眼動画から3D地図を作った後、分割画像の色を使って物体IDと言語表現を付ける。
- Replicaでは地図容量14MB、描画された分割画像のmIoU 91.22％を報告した。
- 15件の文章検索における最良設定の最上位正答率は80.0％だった。
判別しにくい農地だけ別時期・周辺の画像を調べ、区画を塗り分ける
- FarmSeekerは初期の農地判定で曖昧な区域を見つけ、必要な別時期または周辺画像を照会する。
- 中国の評価集合では、現在画像だけのIoU82.13％に対し84.15％と報告された。
- 曖昧区域の発見には誤りが残り、追加画像を確保できるかも実務上の条件になる。