アーカイブ / Computer Vision
動画の顔の動きを捉えるMobileNetV4と多段の時間集約
MobileNetV4 with Multi-scale 3D MLP-Mixer
概要
- 小型のMobileNetV4が連続画像から複数の解像度の特徴を取り出し、３段の3D MLP-Mixerがフレーム間の関係を扱う。
- Aff-Wild2の顔の動き検出の検証セットでは、３段構成の平均F1は0.5369、単一ミキサー構成は0.5441だった。
- 確認できた本文の範囲に処理速度の実測値はなく、対象場面での精度と併せて導入前の測定が必要だ。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MobileNetV4 with Multi-scale 3D MLP-Mixerの仕組み
- 01連続する顔画像
- 02解像度別の特徴抽出
- 03３段の時間集約
- 04課題別の予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、動画から顔の動きや感情に関わる変化を推定する。１枚の画像からは前後の動きが分からないため、連続したフレームの情報を扱う必要がある。動画での分析は、各時点の予測を積み重ねる用途に関わる。
著者らが扱うABAW 8thの課題には、顔の筋肉の動きの検出や、快・不快と活発さの推定などが含まれる。実環境の映像では照明、顔の向き、遮蔽が変わり、同じ表情でも見え方が異なる。
手法
224×224画素の連続画像を、AffectNetで事前学習した小型のMobileNetV4に入力する。画像ごとに複数の解像度の特徴を取り出し、学習時には特徴抽出器の最終層以外を固定する。特徴とは、後段の予測に使う画像情報を数値で表したものだ。
次に、時間集約モジュールが28×28、14×14、7×7の特徴を３段の3D MLP-Mixerで処理する。MLP-Mixerは特徴の数値を組み合わせる仕組みで、ここでは画像内の位置関係を保ちながら連続フレーム間の関係を扱う。集約した特徴は全結合層を通り、対象課題に応じた予測値になる。
新規性
著者らは、小型のMobileNetV4によるフレームごとの特徴抽出と、異なる解像度の特徴を扱う３段の3D MLP-Mixerを組み合わせた。画像内の位置関係を保ちながら、連続フレームの関係を捉える設計だ。
学習時には特徴抽出器の最終層以外を固定する。著者らは効率と予測精度の両立を狙うが、この構成による計算量や処理時間の改善値は、確認できた本文の範囲では示されていない。
従来手法との違い
Aff-Wild2の顔の動き検出の検証セットでは、著者らの３段構成の平均F1は0.5369、２段構成は0.5338、単一ミキサー構成は0.5441だった。F1は適合率と再現率を合わせた指標で、高いほど検出結果がよい。
同じ表の既存手法はRegnet-ViTが0.5280、EmotiEffNetが0.537である。３段構成は前者を上回り、後者と単一構成を下回る。表には速度や計算量がなく、構成間の効率の優劣までは比較できない。
実験結果
著者らが示す数値結果は、Aff-Wild2の顔の動き検出の検証セットに関するものだ。この課題のデータは542動画、2,627,632フレームで、学習295動画、検証105動画、テスト142動画に分かれる。評価指標は、12種類の顔の動きそれぞれのF1を平均した値である。
検証セットでの平均F1は、著者らの３段構成が0.5369、２段構成が0.5338、単一構成が0.5441だった。本文には快・不快と活発さ、感情表現の模倣強度についてデータと評価指標の説明もあるが、確認できた本文の範囲ではそれらの結果値や処理速度は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：同意を得て撮影した接客練習動画を入力し、眉や口などの動きが検出された時点を一覧にする。指導者が該当場面を見直すための手がかりとし、検出結果だけで本人の感情や意図を決めない。
試行には、対象場面の動画、映像を得るカメラ、検出したい顔の動きのフレーム単位のラベルが必要だ。AffectNetで事前学習した特徴抽出器を起点に、対象映像に合わせて予測部分を適合させ、一覧の有用性を人が確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象場面の動画をカメラで集め、検出したい顔の動きをフレームごとにラベル付けする。AffectNetで事前学習した特徴抽出器を起点に、顔画像を用意して予測部分を対象場面へ適合させる。本文の視覚モデルに追加の音声センサーは示されていない。
同じ学習・検証分割で３段構成と単一ミキサー構成を比べ、顔の動きごとのF1とその平均を記録する。実際に使う環境で動画１本当たりの処理時間を測り、照明や顔の向きによる取りこぼしも人が確認する。採用基準は試行前に定める。
限界と課題
著者らは、実環境の照明の違い、顔の向き、遮蔽、自然な表情が分析を難しくすると述べる。要旨ではモバイル機器などでのリアルタイム利用への適性も主張するが、確認できた本文の範囲では処理時間や消費資源の実測値は確認できない。
編集上の検証事項は、対象映像での誤検出、人物や撮影条件による性能差、処理時間である。掲載された顔の動き検出の検証結果では単一ミキサー構成の平均F1が３段構成より高い。多段化を採用する根拠は、用途に即した精度と処理負荷の測定で確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Lightweight Models for Emotional Analysis in Video
In this study, we present an approach for efficient spatiotemporal feature extraction using MobileNetV4 and a multi-scale 3D MLP-Mixer-based temporal aggregation module. MobileNetV4, with its Universal Inverted Bottleneck (UIB) blocks, serves as the backbone for extracting hierarchical feature representations from input image sequences, ensuring both computational efficiency and rich semantic encoding. To capture temporal dependencies, we introduce a three-level MLP-Mixer module, which processes spatial features at multiple resolutions while maintaining structural integrity. Experimental results on the ABAW 8th competition demonstrate the effectiveness of our approach, showing promising performance in affective behavior analysis. By integrating an efficient vision backbone with a structured temporal modeling mechanism, the proposed framework achieves a balance between computational efficiency and predictive accuracy, making it well-suited for real-time applications in mobile and embedded computing environments.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01