アーカイブ / Computer Vision
VRゴーグルで隠れた顔の表情を読む――37人の装着時画像による7分類
EmojiHeroVR
EmojiHeroVRの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Captured screen of the Unity Editor during the study conduction - top left: left eye view, top right: right eye view, bottom left: FER results, bottom middle: central recording, bottom right: 45° side-view recording.
概要
- 37人のVRゲーム参加者から、実際にゴーグルを装着した顔のラベル付き画像3,556枚を構成した。
- 参加者単位で分けたテストセットで、静止画像による7種類の表情分類の正解率は69.84％だった。
- 各ラベル付き画像には計30フレームの連続画像があり、顔センサーの連続データは1,727件に対応する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、EmojiHeroVRの仕組み
- 01絵文字に合わせた表情
- 02２視点で撮影
- 03画像選択と人手確認
- 04静止画像の７分類
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
EmojiHeroVRは、VRゴーグルで顔の上半分が隠れた人の画像から、表情を分類できるか調べた研究である。表情認識とは、顔画像を怒りや喜びなどの区分に振り分ける処理を指す。
従来の画像研究には、顔の上部を人工的に隠して装着状態を再現したものがある。実際の装着中には表情の作り方や頭の向きも変わり得るため、著者らはゲーム中の撮影データで分類の成績を確かめた。
手法
参加者はVRゲームで示された絵文字に合わせ、怒り、嫌悪、恐怖、喜び、悲しみ、驚き、中立の表情を作った。正面と45度斜めのカメラで顔を撮り、ゴーグルの内蔵センサーでも顔の動きを記録した。各試行では、まずゲーム内の別の分類器が正面画像から提示表情らしい1枚を選び、3人の注釈者が画像を確認した。
採用した正面画像には同時刻の斜め画像を対応付け、各画像に前後の計29フレームを加えて30フレームの連続画像にした。基礎評価では、画像を1枚ずつ分類する「静的表情認識」にEfficientNet-B0という画像分類モデルを使う。例えば装着時の正面画像を入力し、7種類のうち推定した表情を出力する。ゲーム中の画像選択に使ったモデルと、この基礎評価のモデルは異なる。
新規性
著者らの主な貢献は、VRゴーグルを実際に装着した37人が演じる表情を撮影し、EmoHeVRDBを構築した点にある。先行する画像ベースの研究では、通常の顔画像に黒い領域を重ねて遮蔽を再現していた。
正面と45度斜めの画像に、それぞれ計30フレームの連続画像を付けた。内蔵センサーによる顔の動きの記録も収めているが、今回報告された基礎評価は静止画像の分類である。
従来手法との違い
著者らは同じEfficientNet-B0の構成を用い、データセットごとに学習・評価した。比較対象は、顔が隠れていないKDEF-SHR、その画像に人工的な遮蔽を加えたKDEF-SHR-occl、実際の装着時画像から成るEmoHeVRDBである。
さらに、AffectNet-7とその人工遮蔽版で学習したモデルを、別のデータセットへ適用した。KDEFとEmoHeVRDBでは参加者や表情を作る状況も異なるため、両者の成績差を遮蔽方法だけの効果とは解釈できない。
実験結果
著者らは37人による2,590回の表情再現から画像を選び、注釈者3人のうち少なくとも2人が提示表情を認識した試行を採用した。最終的な1,778件のラベルに正面・斜めの画像が対応し、ラベル付き画像は3,556枚となった。学習・検証・テストは参加者単位で21人・8人・8人に分けた。
静止画像の7分類で、EmoHeVRDBのテスト正解率は69.84％、怒りのF値は49.11％だった。F値は適合率と再現率を合わせて見る指標である。著者らが別々に学習・評価したKDEF-SHRのテスト正解率は86.48％、人工遮蔽版では79.59％だった。顔センサーに対応する連続データは1,727件で、全1,778件にはそろっていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：VR研修で、画面に示した表情を参加者がまねる練習記録を試作する。入力は、同意を得て外部カメラで撮った装着時の顔画像と提示した表情で、出力は推定した7分類のラベルと試行ごとの記録とする。
適用には、その研修環境で撮った画像を学習用に集め、提示ラベルとは別に人が確認した正解ラベルを付けて分類器を調整する。静止画像だけの試作に内蔵センサーは不要で、使う場合は対応する記録を別途集める。推定ラベルを本人の実際の感情とは扱わない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同じVR研修課題で、参加者の同意を得て装着時の正面画像と提示表情を収集する。学習用には提示ラベルに加え、画像を人が確認した正解ラベルを用意する。静止画像の検証に顔センサーは不要で、利用を試す場合だけ画像と対応する記録を集める。
分類器を研修画像で調整し、学習に使わない参加者の画像で正解率と表情別のF値を測る。比較基準は調整前の同じ分類器とし、撮影角度を増やす場合は角度ごとの成績も記録する。連続画像やセンサーを使う方式は、静止画像の結果と別に検証する。
限界と課題
著者らは、記録した表情が自然に生じた感情ではなく演技であり、ゲームの制限時間や得点が表情を変え得ると述べている。参加者が判定モデルに合わせた表情を覚え、データに偏りが生じる可能性も挙げる。機器の不具合で1人分の顔センサー記録が欠けた。
編集上の検証事項は、別のVR課題、参加者層、照明や撮影角度でも成績が保たれるかである。参加者は大学関係者が中心で、提示した表情を注釈者が認識できた試行だけを採用した。実際の研修で現れる表情の分布との差を確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
EmojiHeroVR: A Study on Facial Expression Recognition under Partial Occlusion from Head-Mounted Displays
Emotion recognition promotes the evaluation and enhancement of Virtual Reality (VR) experiences by providing emotional feedback and enabling advanced personalization. However, facial expressions are rarely used to recognize users' emotions, as Head-Mounted Displays (HMDs) occlude the upper half of the face. To address this issue, we conducted a study with 37 participants who played our novel affective VR game EmojiHeroVR. The collected database, EmoHeVRDB (EmojiHeroVR Database), includes 3,556 labeled facial images of 1,778 reenacted emotions. For each labeled image, we also provide 29 additional frames recorded directly before and after the labeled image to facilitate dynamic Facial Expression Recognition (FER). Additionally, EmoHeVRDB includes data on the activations of 63 facial expressions captured via the Meta Quest Pro VR headset for each frame. Leveraging our database, we conducted a baseline evaluation on the static FER classification task with six basic emotions and neutral using the EfficientNet-B0 architecture. The best model achieved an accuracy of 69.84% on the test set, indicating that FER under HMD occlusion is feasible but significantly more challenging than conventional FER.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01