参照画像と生成先を一枚に配置する画像生成モデルの調整法、ONE-PIC
- 参照画像と目標画像を一枚に配置し、目標領域だけにノイズを加えて復元する形で、複数の画像生成課題を調整する。
- 事前学習済みSDXLの生成部をLoRAで調整し、画像条件用の別のネットワークは設計しない。
- 著者らはVITON-HDでの仮想試着を1万ステップ、約2時間学習したと報告する。確認できた本文に同課題の定量指標はない。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
図形の属性値から規則を解く：GPT-4、Llama-3 70BとARLCの比較
- 正しい属性値を文字で与え、画像認識を介さずに図形の規則を解く能力を比較した。
- I-RAVEN中央配置のテスト集合500問で、著者らはGPT-4が93.2%、Llama-3 70Bが85.0%、学習型ARLCが98.4±1.5%の正答率を報告した。
- I-RAVEN-Xでは列数と値の範囲を変更できる。ARLCは、列数を固定して値の範囲だけを広げる場合、表現の辞書を交換して再学習なしで適用した。
点群の色を圧縮するRAHT係数、末端層を省くか成分ごとに選ぶ
- RAHTの末端側1～4層の残差を省く候補と、全層を符号化する候補をLuma・Cb・Crごとに比較する。
- 著者らの動的点群試験では、フレーム間予測を使うC2条件の平均End-to-End BD-AttrRateはLuma −3.50％、Cb −5.56％、Cr −4.18％だった。
- 改善幅は圧縮条件と点群系列で異なり、C2でもビット率が増えた色成分がある。
音声に文字と映像を取り込み、発話ごとの感情を分類するWavFusion
- WavFusionは音声モデル内で文字・映像を別々に参照し、ゲートで情報を融合して発話の感情を分類する。
- 著者らの報告値は、IEMOCAPでACC 70.53％・WF1 70.60％、MELDでACC 66.93％・WF1 66.10％だった。
- IEMOCAPでは音声のみより三媒体のACCが高い。対象業務での精度と確認作業への有用性は別途検証が必要だ。
都市の交通量予測で変動する特徴への依存を抑えるMIP
- MIPは、記憶バンクを照会して地点・時刻ごとに変化しにくい特徴と変動する特徴を取り出す。
- 学習時に変動側の特徴へ介入し、記憶バンク由来の補助グラフを地理グラフと併用する。
- 著者らは公開データセット二つで分布変化への頑健さを報告するが、確認できた本文の範囲では評価条件や数値結果を確認できない。
スパイク型画像変換器を層ごとに量子化し、精度と推定費用を調整するSpikeHQ
- SpikeHQは、スパイク型画像変換器の各層で量子化方式とビット数を選び、分類誤差と推定ハードウェア費用を調整する。
- 著者らのDVS128実験ではβ＝1.0で精度97.57％、保存量0.744MB、推定エネルギー1.741mJだった。32ビット基準はそれぞれ98.26％、10.21MB、14.99mJ。
- エネルギー値は45nm CMOSを想定した解析モデルによる推定であり、導入先の機器での消費電力と処理時間は実測が必要である。
作業を先に見分け、必要な保護具だけを確認する工場映像の安全点検
- 人の動作を先に認識し、その作業に必要な保護具を物体検出で確認する。
- 製造現場の映像から約2,900の動画区間に動作の注釈を付けた。
- 著者らは109本のテスト動画で、PPE中心の方式よりF1値が23％改善したと報告した。
甲状腺の超音波画像から結節の輪郭を描く、画像と文章の二枝構成
- CLIP-TNsegは、超音波画像と文章を入力し、甲状腺結節の領域を画素単位で示す。
- 事前学習済みCLIPによる大まかな特徴と、U-Net型の枝による細部の特徴を結合する。
- 著者らは包括データで平均Dice係数91.91％、追加学習なしのTN3Kで87.83％を報告した。
人物を指定して検出を事前学習し、通常の人物検索に切り替えるSPNet
- SPNetは照会人物に合う枠を探して事前学習し、照会なしで人物を検出する経路に切り替えて適応する。
- 人物枠付きの場面画像を変形して対応する枠を作るため、事前学習時に画像間の人物IDラベルを必要としない。
- 著者らはCUHK-SYSUで96.4% mAP、PRWで61.2% mAPを報告した。
参照する情報を絞り、季節変動と傾向を分けて将来を予測するKEDformer
- KEDformerは、注意の分布と自己相関で参照する情報を絞り、季節成分と傾向成分を分けて長期予測する。
- 著者らの多変量予測表では、Trafficの入力長96・予測長96におけるMSEはKEDformerが0.409、Autoformerが0.613だった。
- 一部条件では他モデルの指標が良く、計算量の記述にも食い違いがある。現場データで誤差と処理負担を検証する必要がある。
クラウド上のロボット処理を複製し、先着応答を返すFogROS2-FT
- ROS2サービスの要求を複数のクラウド拠点へ送り、最初に届いた応答を採用する。
- 経路計画のCubicles条件で、著者らはP99遅延が5.53倍短縮したと報告する。
- 利用には要求ごとの独立した処理と、少なくとも一つの利用可能な複製先・通信経路が必要になる。
参照動画の動きを、文章で指定した別の場面へ移す動画生成手法
- 参照動画の初期段階のスコアを使い、学習済み動画生成モデルを追加学習せずに動きを移す。
- 著者らの100組の比較では、動きの忠実度0.913、時間的一貫性0.928が表中の最高値だった。
- MotionBenchには参照動画200本と変換系列1000件が含まれる。