抱擁や運搬の画像編集で、手足と接触の破綻を測るMPIE-Bench
- MPIE-Benchは、動画から選んだ2,500件の複数人接触画像編集課題を収録する。
- MPIE-Evalは復元した三次元の人体形状を使い、手足などの整合性と人物間の接触を別々に採点する。
- 10モデルのTrack A評価では二軸の最高モデルが異なり、170件の人手評価との順位相関では、形状由来の判定が10設問中9設問でVLM判定を上回った。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
記事と動画を一つの推薦欄で順位付けするHA-MoE：形式ごとの違いをどう扱うか
- HA-MoEは内容種別などの情報を使い、行動ごとに専門家の配分と出力を調整する。
- 著者らは社内データでのオフライン改善とオンラインA/B試験での改善を報告するが、確認できた本文の範囲に実測値や改善幅はない。
- 導入時は、全体の順位に加え、異なる形式間の順位と形式別の結果を既存ログで検証する必要がある。
複数の医療画像から答えを選ぶAI、正答だけを学ぶ方法の安定性を比較
- MedFrameQAの保留した1,024件で、text35の平均正答率は51.52%。追加学習なしの45.21%を6.31ポイント上回った。
- 著者らの結論は、正答だけを学ぶ手法群の安定性についてであり、近い設定の中でtext35だけが明確に最良とはしていない。
- 代表的な1回の結果では、学習後の確信度補正で正答率52.25%を保ちながらECEが低下した。
将来の脳MRIを予測するProgFormer：全体構造と局所変化を分けて処理
- ProgFormerは、過去の脳MRIと年齢などを条件に、将来の三次元MRIをボクセル空間で生成する。
- パッチ単位で全体構造と撮影間の関係を扱い、その情報を参照してパッチ内の細部を補正する。
- ADNIの１枚入力では、ProgFormer-SのPSNRはCounterSynthを上回り、SSIMは下回った。
単眼動画を検索可能な3D地図に変え、物体単位で言葉を結び付ける
- 単眼動画から3D地図を作った後、分割画像の色を使って物体IDと言語表現を付ける。
- Replicaでは地図容量14MB、描画された分割画像のmIoU 91.22％を報告した。
- 15件の文章検索における最良設定の最上位正答率は80.0％だった。
判別しにくい農地だけ別時期・周辺の画像を調べ、区画を塗り分ける
- FarmSeekerは初期の農地判定で曖昧な区域を見つけ、必要な別時期または周辺画像を照会する。
- 中国の評価集合では、現在画像だけのIoU82.13％に対し84.15％と報告された。
- 曖昧区域の発見には誤りが残り、追加画像を確保できるかも実務上の条件になる。
生成候補と実データの対応を探して学ぶ探索的モデリング
- 学習時に生成候補と実データを比べ、最も近い対応を選んでモデルを更新する。
- 著者らはImageNetでガイダンスなしのFID 1.43、制御課題で比較対象に匹敵する性能と16～256分の1の推論ステップ数を報告した。
- 製造画像への応用には、欠陥ラベルを使うための調整と、画像の妥当性・偏り・計算量の検証が必要になる。
胸部X線の画像特徴量でCOVID-19と他の肺炎を分類する予備研究
- 公開データの正面胸部X線画像668枚、患者408人を使い、COVID-19と他の肺炎を分類した予備研究。
- 患者単位の層化5分割交差検証で、最良の平均正解率75.4％とAUC 0.755を報告。多数派クラス基準の正解率は71.6％。
- 多モーダル深層学習は今後の構想であり、今回報告された性能値の対象ではない。
質問に近い事実を起点に、知識グラフのつながりをたどる検索手法
- KAMRは質問に近い起点の事実を探し、知識グラフ上でつながる事実へ探索を広げる。
- 事実の一部を隠して作った質問により、正解経路の注釈がない場合も検索器を事前学習する。
- PathQuestionの3段の経路再現率は取得上限50件、探索2回で85.78。CWQでは探索2回のF1が探索1回を下回った。
新着ニュースを少ない反応から推薦するKairos：候補検索の短縮と安定した順位更新
- Kairosは記事の内容と利用者の反応を使い、反応の少ない新着ニュースの推薦順位を更新する。
- LinUCBの行列計算では、逆行列の逐次更新に代えてコレスキー分解の因子を直接更新する。
- 著者の385記事での評価では、128次元の候補検索は全768次元の場合より4.85倍高速だった。実利用者のクリック率は未評価である。
途中で描いた画像は回答に使われたか――See2Thinkによる視覚推論の検証
- See2Thinkは、12分野1,200問で、推論中の画像操作・描画・後続の利用を分けて評価する。
- 4モデルの比較では最も正答率が高い推論条件が異なり、操作後の画像を返す方式が常に有利とは限らなかった。
- 著者らは描画の忠実さを課題として示し、3D場面では誤った画像を返すと正答率が10ポイントを超えて下がる条件を報告した。
顔写真と文章から声を合成する、音声モデル固定型の手法
- 顔画像と文章から声を合成するため、顔側の特徴をStyleTTS 2の声の特徴へ対応付ける。
- 未見のLRS3話者24人で、Balanced設定の顔から声への検索Top-1は9.3％、偶然水準は4.17％だった。
- 顔の寄与は限定的で、大規模な聴取試験は報告されていない。