アーカイブ / Audio / Computer Vision
音声・映像認識の時間的特徴と音画の対応を狙う攻撃、対抗学習での検証
Temporal and Modality-based Attack (TMA)
Temporal and Modality-based Attack (TMA)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3: Overview of the adversarial perturbation crafting in the adversarial training process. Given an audio-visual data, we randomly segment it into different parts ( green and yellow ) and sample frames from each of the segments with ratio α \alpha ( red ). Then, we diversify each sampled frame by N T ^ N_{\hat{T}} copies and employ TIA and MMA to craft the adversarial perturbation. Finally, we map the generated adversarial perturbation to corresponding segments, creating adversarial examples for adversarial training.
概要
- TIAは時間を通じて共通する特徴、MMAは音声と映像の特徴の対応を狙う攻撃である。
- 著者らの事前分析では、FGSMで作った攻撃例が別の77モデルに平均31.7％の攻撃成功率を示した。
- 防御は区間内で摂動を共有し、学習時の攻撃条件を周期的に変える。確認できた本文の範囲では、防御の改善幅を示す数値は確認できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Temporal and Modality-based Attack (TMA)の仕組み
- 01同期した音声と映像
- 02時間・音画特徴の抽出
- 03TIA・MMAで摂動作成
- 04区間共有で対抗学習
- 05出来事の判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
音声と映像を合わせて出来事を判定するモデルは、犬がほえる場面なら、見える動きと聞こえる音の両方を手掛かりにできる。その入力に小さな変化を加えて誤判定を誘う「敵対的攻撃」への耐性は、利用前に確かめる必要がある。
連続する場面には似た情報が続き、音と映像にも対応関係がある。著者らは、一般的な攻撃を音声・映像へ適用するだけでは、この二つの関係から生じる弱点を十分に調べられないと考えた。
手法
入力は時刻が対応する音声と映像、出来事の正解ラベルである。TIAは各時点でモデルが取り出す「特徴」、つまり判定に使う数値表現の時間方向のばらつきを小さくする条件を加え、誤分類を誘う摂動を作る。犬がほえる動画なら、連続する場面に共通する特徴を狙う。MMAは音声と映像の特徴の近さを下げ、両者の対応を乱す。
攻撃は誤分類を狙う条件と組み合わせ、音声と映像それぞれの変化量に上限を設ける。防御では入力を短い区間に分け、一部の時点で作った摂動を同じ区間へ広げる。摂動とは入力に加える変化のことだ。さらに入力の抽出率、音画を結び付ける層の一部を使わない割合、攻撃を作る手順数を周期的に変え、変化を加えた例でモデルを学習する。
新規性
著者らは、連続する時点に共通する特徴を狙うTIAと、音声・映像の特徴の対応を弱めるMMAを提案し、両者を組み合わせたTMAも扱う。誤分類を狙うだけでなく、二つの情報源に固有の関係を攻撃条件に入れる点が特徴である。
防御では、短い区間の一部で作った摂動を区間内で共有する。さらに、入力の抽出率、結合層の一部を使わない割合、攻撃の手順数を周期的に変える対抗学習を提案する。
従来手法との違い
攻撃の比較対象はFGSM、I-FGSM、MI-FGSM、MIG、PAMである。これらに対し、TIAは特徴の時間方向のばらつき、MMAは音声と映像の特徴の近さを攻撃の計算に加える。二つを組み合わせたものがTMAである。
防御の比較対象として、通常の対抗学習のほかDCFL、SSDF、Mixup、CRMT-ATが挙げられる。提案法は区間内で摂動を共有し、学習時の攻撃条件も変える。確認できた本文の範囲では、これらに対する防御性能や計算時間の優劣を数値で確かめられない。
実験結果
著者らはKinetics-Soundsの音声・映像による出来事認識で検証した。事前分析では、FGSMで一つのモデルから作った攻撃例が、別の77モデルに対して平均31.7％の攻撃成功率を示した。時間方向のマスキングを使った攻撃例の生成では、音声と映像の両方を対象にした条件で最大13.8％の改善を報告する。
別の比較では、FGSMの攻撃成功率31.7％・音画の特徴のコサイン類似度47.6％に対し、NI-FGSMは54.8％・34.9％だった。コサイン類似度は特徴の向きの近さを表す。これらは攻撃の事前分析であり、提案防御の改善幅ではない。確認できた本文の範囲では、防御結果の数値は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：工場の作業動画から作業種別を判定する場面を想定する。入力はカメラ映像と、同じ作業を収録したマイク音声である。学習には作業種別の正解ラベルを付けた自社の記録を用意し、音と映像の時刻を合わせて、現場の分類項目にモデルを調整する。
出力は作業種別の候補と、人が確認する記録とする。導入前に元の記録と、時間的特徴または音画の対応を狙う変化を加えた記録で判定を比べる。この用途での改善は論文の実証結果ではなく、検証を要する仮説である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象作業をカメラとマイクで収録し、時刻を合わせる。作業種別の正解ラベルを付けた学習用と評価用の記録を用意し、現場の分類項目にモデルを調整する。通常の学習と通常の対抗学習を基準に、提案する区間共有と周期的な学習条件を加えた場合を比べる。
同じ評価用記録で、元の入力と、時間的特徴や音画の対応を狙う変化を加えた入力を試す。正解率、攻撃成功率、学習時間を同じ条件で記録し、音声だけ、映像だけ、両方への変化を分けて確認する。許容する誤判定の水準は、現場の用途に合わせて先に定める。
限界と課題
著者らは、音声と映像の各時点で摂動を作る計算負担を課題とし、区間内での共有を提案する。また、特定の攻撃条件への過度な適合を踏まえ、学習条件を周期的に変える。導入部にはTIAが時点間の不一致を生むとの記述がある一方、手法節では特徴の時間方向の分散を小さくするため、機序の説明には食い違いがある。
編集上の検証事項は、収録時刻のずれや録音環境の違いへの耐性である。確認できた本文の範囲では、防御の改善幅と計算時間の数値、別データでの結果が読めず、現場での効果は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Rethinking Audio-Visual Adversarial Vulnerability from Temporal and Modality Perspectives
While audio-visual learning equips models with a richer understanding of the real world by leveraging multiple sensory modalities, this integration also introduces new vulnerabilities to adversarial attacks. In this paper, we present a comprehensive study of the adversarial robustness of audio-visual models, considering both temporal and modality-specific vulnerabilities. We propose two powerful adversarial attacks: 1) a temporal invariance attack that exploits the inherent temporal redundancy across consecutive time segments and 2) a modality misalignment attack that introduces incongruence between the audio and visual modalities. These attacks are designed to thoroughly assess the robustness of audio-visual models against diverse threats. Furthermore, to defend against such attacks, we introduce a novel audio-visual adversarial training framework. This framework addresses key challenges in vanilla adversarial training by incorporating efficient adversarial perturbation crafting tailored to multi-modal data and an adversarial curriculum strategy. Extensive experiments in the Kinetics-Sounds dataset demonstrate that our proposed temporal and modality-based attacks in degrading model performance can achieve state-of-the-art performance, while our adversarial training defense largely improves the adversarial robustness as well as the adversarial training efficiency.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01