アーカイブ / Computer Vision
携帯型投影機の解像度と色ずれを考慮した顔認証への光投影攻撃
Device-aware Optical Adversarial Attack
Device-aware Optical Adversarial Attackの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: The overall framework.
概要
- 著者らは、携帯型投影機による模様の細部の消失と色変化を考慮し、顔認証への光投影攻撃を設計した。
- 固定照明のオフィスで実在人物5人と模造物5体を評価し、デジタル画像から投影後への類似度スコア低下を平均14％と報告した。
- 導入先での耐性評価には、通常時を基準に、実際のカメラと投影機で誤認件数と撮影条件による変化を測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Device-aware Optical Adversarial Attackの仕組み
- 01複数視点の顔写真
- 02共通の模様を計算
- 03解像度と色を調整
- 04顔に投影して撮影
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、顔に光の模様を投影し、撮影された顔を別人の登録画像に近いと顔認証モデルに判定させる攻撃を扱う。顔認証ではカメラ画像が判定に使われるため、画面上で有効な模様が撮影後も働くかが問題になる。
携帯型プロジェクターでは細かな模様が投影時につぶれ、撮影画像の色も変わる。著者らは、デジタル画像と実際に投影して撮った画像の差を抑えるため、機器の特性を模様の生成に取り入れた。
手法
まず短い動画から異なる視点の顔写真を選び、模様を置く範囲を指定する。照合先の顔画像と顔認証モデルを使い、各視点で照合先との類似度が高くなる共通の模様を反復計算する。類似度は、モデルが顔から取り出した特徴がどれだけ近いかを示す値である。
計算中は模様を小領域に分け、領域内の画素値を近づけて投影時の細部の消失に備える。さらに灰色を基に計算し、撮影時に生じる縞状の乱れであるモアレを模擬する。投影機で扱う色の範囲も調整し、完成した模様を顔へ投影して撮影画像を照合する。
新規性
著者らの提案は、デジタル画像で作った攻撃模様を実物の顔へ投影する際の劣化を、模様の計算過程で扱う点にある。投影後に細部が失われにくいよう、小領域内の画素値を近づける。
色については、投影機の色変換を大まかに推定し、使用する値の範囲を反復計算中に調整する。複数視点に共通する模様を作り、精密な画素位置合わせに頼らず投影する設計も組み合わせている。
従来手法との違い
基準となるのは、画像の変換や反復更新によって顔認証モデルへの攻撃模様を作る、本文記載のデジタル攻撃手法である。提案法はこれに、小領域内の画素値を近づける制約と、投影時の色変化を考慮する処理を加える。
著者らは先行する投影攻撃について、画面全体の色補正では場所による違いを扱いにくく、機器と環境の詳細なモデル化には精密な校正が要ると述べる。確認できた本文の範囲では、それらの先行研究との同条件の数値比較は示されていない。
実験結果
著者らは、実在人物5人と樹脂製マスクなどの模造物5体を、固定照明のオフィスで評価した。ArcFace、MobileFace、FaceNetで、デジタル画像は5視点、投影後の撮影画像は3視点のうち最高のコサイン類似度を記録する。著者らは、デジタルから物理環境へのスコア低下を平均14％と報告した。
著者らは、LFWで選ばれたモデル別しきい値を超える割合を攻撃成功率とし、実在人物と模造物の投影攻撃で「ほぼ100％」と記す。商用3サービスには各対象1枚、計10枚を試し、平均信頼度をFace++で70.2％、Baiduで80.7％、Tencentで45.8％と報告する。信頼度は成功率とは別の指標である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：入退室用の顔認証について、投影光を受けた顔を誤認する条件を調べる。入力には、評価に同意した人物の複数視点の顔画像、照合先の登録画像、人物と登録先の識別ラベル、現場のカメラで撮った画像を用いる。
複数視点から評価用の模様を作り、投影機とカメラの色や撮影位置に合わせて調整する。通常時と投影時の照合結果を記録し、誤って別人の登録先と一致した例を担当者が確認する。これは防御側の評価手順としての仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず通常時の本人照合と別人照合を基準として記録する。評価に同意した人物の登録画像、複数視点の顔写真、本人と照合先の識別ラベル、実際の認証カメラと投影機による撮影画像を用意する。
現場の機器に合わせて投影位置と色の範囲を調整し、投影時の顔を通常時と同じ判定手順で測る。類似度、別人を登録先と誤認した件数、照明や視点ごとの変化を比較する。照合しきい値は現場の設定を明記し、論文で使われた値と区別する。
限界と課題
著者らは、携帯型投影機の画像品質が低いため正確な色校正が難しく、投影機とカメラの位置や顔の立体形状によって画素の位置合わせも難しいと述べる。実験は照明を固定したオフィスで行われた。
編集上の検証事項は、照明や顔の動き、機器を変えた場合に結果がどう変わるかである。論文で用いた照合しきい値は顔画像データセットLFWで選ばれた値であり、導入先の運用しきい値で同じ成功率になるかは、この結果からは分からない。
出典
元のタイトル・要旨を確認する（英語）
Device-aware Optical Adversarial Attack for a Portable Projector-camera System
Deep-learning-based face recognition (FR) systems are susceptible to adversarial examples in both digital and physical domains. Physical attacks present a greater threat to deployed systems as adversaries can easily access the input channel, allowing them to provide malicious inputs to impersonate a victim. This paper addresses the limitations of existing projector-camera-based adversarial light attacks in practical FR setups. By incorporating device-aware adaptations into the digital attack algorithm, such as resolution-aware and color-aware adjustments, we mitigate the degradation from digital to physical domains. Experimental validation showcases the efficacy of our proposed algorithm against real and spoof adversaries, achieving high physical similarity scores in FR models and state-of-the-art commercial systems. On average, there is only a 14% reduction in scores from digital to physical attacks, with high attack success rate in both white- and black-box scenarios.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01