アーカイブ / Audio
音声の危険な音と発話内容を分けて判定するAudioGuard
AudioGuard
AudioGuardの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Overview of AudioSafetyBench.
概要
- SoundGuardが非発話音や声の特徴を波形から調べ、ContentGuardが文字起こしした発話内容を判定する。
- 用途別のルールが両者の結果を組み合わせ、許可・遮断・確認などの判断につなげる。
- 著者らはGemini 3比で判定精度15％向上、遅延約半分と述べるが、確認できた本文では結果表と測定条件を照合できず、外部評価先の件数にも記述の不一致がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AudioGuardの仕組み
- 01入力音声
- 02音・声の検出と文字起こし
- 03発話内容の判定
- 04用途別ルールの照合
- 05安全判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AudioGuardは、音声サービスに入る音とサービスから出る音の安全性を判定する。発話を文字にして調べるだけでは、悲鳴などの非発話音、子どもの声、声の模倣と発話内容の組み合わせを捉えにくい。
音声対話や声の生成では、入力と出力で適用する方針も異なる。著者らは公開された音声サービスの方針と、システムの弱点を探すレッドチーミングを基に危険を整理し、用途ごとに判断できる仕組みを提案した。
手法
入力は音声の波形である。SoundGuardは波形から非発話音や話者の特徴を検出し、項目ごとに確信度を出す。並行してContentGuardはASR（音声を文字に変える音声認識）で発話を書き起こし、TextGuardが詐欺や嫌がらせなど、発話内容の危険度を判定する。
最後に、用途別の方針ルールが両者の結果を照合する。例えば「子どもの声」と「性的な内容」がともに設定したしきい値以上なら、その組み合わせのルールが発動する。発動したルールは優先順位に従って許可・遮断・確認などの判断へ変換され、判断に使った項目も示せる設計だ。
新規性
著者らが提案するのは、波形に現れる音・声の特徴と、発話の意味を別々に検出し、用途別のルールで組み合わせる構成だ。声と内容の組み合わせで初めて問題になる事例も扱う。
評価用にはAudioSafetyBenchを構築した。公開された音声サービスの方針と、弱点を探すレッドチーミングを基に危険を分類し、入力音声と生成音声の双方を対象にしている。
従来手法との違い
比較対象は、音声を一つの大規模な音声言語モデルに渡して安全判定させる方式だ。著者らはGemini 3、GPT-Audioなどに、同じ危険分類に沿った形式で回答させている。
AudioGuardは、波形の検出結果と文字起こしの判定結果を用途別のルールで統合する。文字起こしだけでは残らない非発話音や声の特徴も判断材料にできる。著者らは比較モデルより高い判定精度と短い遅延を報告しているが、確認できた本文の範囲では結果表を照合できない。
実験結果
著者らは、1万件超のラベル付き音声を含むAudioSafetyBenchを作り、17言語、50超の話者識別対象を扱った。同データの評価区分は発話、非発話音、ElevenLabsのレッドチーミング事例で、本文5.1節は外部評価先としてJailbreak-AudioBenchなど4件を列挙する。
著者らはGemini 3と比べて判定精度が15％高く、遅延は約半分と述べる。ただし、導入部には外部評価先を5件とする記述もあり、件数が一致しない。確認できた本文の範囲では結果表、精度の算出方法、遅延の測定条件を確認できず、数値を個別の評価区分へ当てはめることはできない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：音声対話サービスで、利用者の入力音声と生成した返答音声を配信前に判定する。入力は両方の音声波形と、サービスが定める禁止事項。出力は許可・遮断・人による確認の判断と、発動したルールとする。
必要なデータは通常の会話音声と、非発話音、声の特徴、発話内容の組み合わせを含む音声、および各例の正解ラベルだ。音声は既存の入出力から取得し、利用者音声と生成音声で適用する方針、分類項目、しきい値をそれぞれ調整する。効果は導入先で確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：音声対話の一業務に絞り、既存の音声入出力から通常例と危険例の波形を集める。必要なラベルは非発話音、声の特徴、発話内容、最終判断である。追加の取得機器を前提とせず、音声認識、両検出器、用途別ルールとしきい値を対象業務の分類に合わせる。
同じ音声群で、文字起こしだけによる判定を比較基準にする。危険例の見逃し率、通常例の過剰遮断率、判定までの時間を測り、声と内容の組み合わせを含む例は別に集計する。入力音声と生成音声も分けて確認し、採用の可否を判断する。
限界と課題
著者らが提案の動機として挙げるのは、文字起こしで失われる音の情報と、一つのモデルに判定を任せる際の学習用ラベルの収集や用途別調整の難しさだ。提案手法自体の誤判定条件を、確認できた本文から特定することはできない。
編集上の検証事項は、録音条件や言語が変わったときの見逃しと過剰遮断、音声認識の誤りが最終判断へ及ぼす影響、用途別しきい値の妥当性である。結果表と遅延の測定条件も確認が必要だ。
出典
元のタイトル・要旨を確認する（英語）
AudioGuard: Toward Comprehensive Audio Safety Protection Across Diverse Threat Models
Audio has rapidly become a primary interface for foundation models, powering real-time voice assistants. Ensuring safety in audio systems is inherently more complex than just "unsafe text spoken aloud": real-world risks can hinge on audio-native harmful sound events, speaker attributes (e.g., child voice), impersonation/voice-cloning misuse, and voice-content compositional harms, such as child voice plus sexual content. The nature of audio makes it challenging to develop comprehensive benchmarks or guardrails against this unique risk landscape. To close this gap, we conduct large-scale red teaming on audio systems, systematically uncover vulnerabilities in audio, and develop a comprehensive, policy-grounded audio risk taxonomy and AudioSafetyBench, the first policy-based audio safety benchmark across diverse threat models. AudioSafetyBench supports diverse languages, suspicious voices (e.g., celebrity/impersonation and child voice), risky voice-content combinations, and non-speech sound events. To defend against these threats, we propose AudioGuard, a unified guardrail consisting of 1) SoundGuard for waveform-level audio-native detection and 2) ContentGuard for policy-grounded semantic protection. Extensive experiments on AudioSafetyBench and four complementary benchmarks show that AudioGuard consistently improves guardrail accuracy over strong audio-LLM-based baselines with substantially lower latency.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01