アーカイブ / Computer Vision
顔動画から心拍数を推定する:顔追跡と色信号で動きの影響を抑える方法
A Robust Remote Photoplethysmography Method
A Robust Remote Photoplethysmography Methodの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Comparison between RGB and CIELAB color spaces.
概要
- 顔の特徴点で測定領域を追い、CIELABのa*成分と周波数図上の折れ線調整から心拍数の推移を求める。
- 著者は19人の動画26本で、参照心拍数に対する動画別MAEの平均1.95 BPMを報告した。
- 動画全体を使うためリアルタイム測定はできず、17秒強の解析窓では短時間の心拍数の急変を捉えられない。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、A Robust Remote Photoplethysmography Methodの仕組み
- 01顔動画
- 02顔の特徴点追跡
- 03a*信号の周波数図
- 04折れ線の調整
- 05心拍数の推移
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
遠隔光電容積脈波法(rPPG)は、カメラが捉える皮膚のわずかな色の変化から心拍数を求める方法だ。体に測定器を付けずに済む一方、顔の動きや照明、化粧も映像の色に影響し、拍動による変化と見分けにくくなる。
著者は、従来法の多くが静止した被験者と一定の照明で評価され、より現実的な条件では精度が下がると指摘する。顔の向きや表情が変わる動画でも、参照心拍値にどれだけ近い値を得られるかが利用判断に関わる。
手法
入力動画の各フレームでMediaPipeによる顔追跡を行い、顔の400点超の特徴点を使って測定領域を定める。ひげや衣服で隠れにくく、カメラに向きやすい領域を選び、その画素の色信号を集める。RGBの値は、明るさと色の成分を分けるCIELABに変換する。著者の観察では動きの影響は主に明るさの成分に現れ、赤と緑の方向の色差を表すa*成分に拍動の信号が見られた。
次にa*信号を周波数解析し、時刻ごとにどの速さの変動が強いかを示す周波数図を作る。解析範囲は毎分50~150拍とし、弱い成分を除いた図に折れ線を重ねる。折れ線は強い成分に沿いながら急な上下を抑えるよう反復調整する。例えば顔を動かして一時的に強い山が現れても、その山だけで値を決めず、動画全体に沿った心拍数の推移を出力する。
新規性
著者の提案は、顔の特徴点を追って測定領域を定め、明るさと色を分けた信号から心拍数の推移を求める組み合わせにある。RGB信号で目立つ動き由来の変動を、CIELABのa*成分を使って減らす。
さらに、各時刻で最も強い周波数を選ぶ代わりに、周波数図上で強い成分に沿う折れ線を反復調整する。一時的な動きによるピークを心拍として拾いにくくする設計だ。
従来手法との違い
原文が引用する従来研究の平均絶対誤差(MAE)は、研究[3]で5.50 BPM、研究[4]で安静時1.91 BPM・会話時7.98 BPM、研究[5]で動く被験者について5.45 BPMだった。条件ごとに値を区別して読む必要がある。
著者は自らの26本の動画で得た平均1.95 BPMを、類似条件の従来結果より良いと評価する。ただし、引用した手法を同じ26本に適用した比較結果は示されていない。数値差だけで各手法の優劣を確定できない。
実験結果
著者は20~50歳の19人から得た約5分の動画26本を評価した。撮影には赤外線フィルターを外した720pのウェブカメラを使った。別の反射式光電容積脈波計の記録を動画と同期し、参照心拍数を求めている。被験者は表情や視線を制限されなかったが、長時間画角を外れたり顔を背けたりしない条件だった。
指標は推定値と参照値の差の絶対値を平均するMAEである。著者が報告する26本の平均は1.95 BPM(毎分拍数)、動画別では0.32~7.80 BPMだった。条件別の誤差表や、同じ動画を使った引用手法との直接比較は本文にないため、動きや化粧それぞれへの効果を数値で切り分けることはできない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:協力者が会話し、顔の向きを変える場面を撮影し、後から心拍数の推移を確認する試験に使う。入力は顔動画、出力は時刻ごとの推定値と、同期した参照心拍値との差とする。撮影にはカメラ、評価には別の心拍センサーが要る。
元手法が使う顔追跡器の学習データと教師ラベルは本文に示されていない。利用する追跡器を決め、顔の映り方や測定領域を対象環境に合わせて確かめる。参照値は評価用のラベルであり、この応用で精度が出るかは実測で判断する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:対象環境で、会話、顔の動き、照明、化粧の条件を記録した顔動画を少数集める。カメラ映像と心拍センサーの参照値を同期し、参照値を評価用ラベルにする。元手法の顔追跡器の学習データと教師ラベルは本文に示されておらず、追跡器を選ぶ際に確認が要る。
まず顔の測定領域と撮影条件を対象動画に合わせて調整する。同じ動画で提案手順とRGB信号を使う簡単な基準法を動かし、動画別MAE、条件別の誤差、推定できない区間、処理時間を比べる。この基準法との比較は導入時の追加検証であり、原文の実験結果ではない。
限界と課題
著者が報告する制限は、動画全体の周波数図を使うためリアルタイム測定ができず、時間方向の分解能も限られることだ。30 fpsの撮影では解析窓が17秒強になり、短時間の心拍数の急変は捉えられない。被験者が長く画角を外れたり、顔を背け続けたりしないことも測定条件となる。
編集上の検証事項は、未改造カメラ、化粧、照明、顔の動きごとの誤差である。著者は未改造カメラでも動作するが、特に化粧時に精度が落ちると述べる。動画の始点・終点に見られたずれも含め、用途ごとの許容誤差を別途確かめたい。
出典
元のタイトル・要旨を確認する(英語)
A Robust Remote Photoplethysmography Method
Remote photoplethysmography (rPPG) is a method for measuring a subjects heart rate remotely using a camera. Factors such as subject movement, ambient light level, makeup etc. complicate such measurements by distorting the observed pulse. Recent works on this topic have proposed a variety of approaches for accurately measuring heart rate in humans, however these methods were tested in ideal conditions, where the subject does not make significant movements and all measurements are taken at the same level of illumination. In more realistic conditions these methods suffer from decreased accuracy. The study proposes a more robust method that is less susceptible to distortions and has minimal hardware requirements. The proposed method uses a combination of mathematical transforms to calculate the subjects heart rate. It performs best when used with a camera that has been modified by removing its infrared filter, although using an unmodified camera is also possible. The method was tested on 26 videos taken from 19 volunteers of varying gender and age. The obtained results were compared to reference data and the average mean absolute error was found to be at 1.95 beats per minute, which is noticeably better than the results from previous works. The remote photoplethysmography method proposed in the present article is more resistant to distortions than methods from previous publications and thus allows one to remotely and accurately measure the subjects heart rate without imposing any significant limitations on the subjects behavior.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




