表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

動画の危険カテゴリを複数検出、見逃しと誤検出の配分を学習で調整

ATPO

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

ATPOの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1 : Real-world moderation policies require different precision–recall trade-offs: fixed-operating-point binary systems may miss harmful content and incorrectly pass it to sensitive audiences, whereas our proposed ATPO enables category-aware precision–recall control in multi-label video safety detection.

出典:ATPO / arXiv ↗

概要

  • 有害か否かの二択ではなく、一つの動画に複数の危険ラベルを付ける。
  • 誤検出と見逃しの罰則を動的に変えるAdaptive Tversky Rewardで方針を調整。
  • SafeWatch-Bench-RealのJaccard Indexが40.66から75.44へ改善したと報告。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、ATPOの仕組み

左から右へ読む
  1. 01動画のフレーム
  2. 02視覚言語モデル
  3. 03複数ラベルを予測
  4. 04適応報酬で学習

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

ATPOは、動画に含まれる危険な内容を複数のカテゴリで検出し、誤検出と見逃しの比率を調整する学習法である。一つの動画に複数の問題が重なる場合、有害か無害かの二択では、どの内容が含まれるかを運用者が把握しにくい。

確認担当者へ広めに候補を送る段階と、強い措置を検討する段階では、必要な検出の厳しさが違う。カテゴリごとにも要求が異なるため、一つの固定した学習目標だけでは運用方針に合わせにくいという課題を扱う。

手法

動画を一定間隔のフレームとして視覚言語モデルへ入力し、含まれる危険カテゴリを予測する。まず正解ラベルを使う教師あり調整を行い、その後に報酬を用いる強化学習で予測方針を調整する。提案するATRは、正解ラベル集合との一致と、誤検出・見逃しの罰則を組み合わせる。

適合率は検出したもののうち正しい割合、再現率は本来検出すべきものを拾えた割合である。学習中に罰則の配分を変えることで、この二つのバランスを動かす。例えば人が後で確認する候補抽出では見逃しを抑える設定を検討できる。調整の対象は学習の報酬設計であり、動画ごとの正解を事後に変更するものではない。

新規性

複数ラベルによる動画安全検出と、運用方針に応じた検出特性の調整を一つの強化学習枠組みに組み込む点が特徴である。固定した罰則で学習する代わりに、誤検出と見逃しの重みを適応的に変える。

著者らは全体の性能だけでなく、カテゴリごとの異なる要求にも対応することを狙う。平均的に高い点数を得ることと、必要な運用点へ予測を動かせることを別の目的として評価している。

従来手法との違い

実験は大規模な汎用視覚言語モデルや、固定した報酬を使うGRPOとの比較を含む。GRPOは複数の候補出力の相対的な報酬を使ってモデルを更新する強化学習方式である。

提案の差は単にモデルの規模を増やすことではなく、複数ラベルと適応的な報酬の設計にある。二値判定のF1だけではカテゴリの組み合わせを正しく扱えたか分からないため、ラベル集合の一致も比較している。

実験結果

SafeWatch-BenchとXD-Violenceで評価し、Qwen2.5-VL-7BとQwen3-VL-8Bを基盤に用いる。前者の実動画テストは820本、後者は800本で、学習に使う動画には長さの条件を設けている。

著者らはSafeWatch-Bench-RealのJaccard Indexが40.66から75.44へ改善したと報告する。この指標は予測と正解のラベル集合の重なりを測り、単純な動画正答率とは異なる。Micro-F1、Macro-F1、二値F1も使い、適合率と再現率の調整可能性を調べた。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:社内の動画確認業務で、問題カテゴリごとに担当者へ確認候補を振り分ける。入力は投稿動画、出力は複数のカテゴリと確認対象の一覧とし、最終判断は担当者が行う。

大量の動画から候補を拾う段階では見逃しを抑え、担当者の処理量が逼迫する場合は誤検出も測って設定を比較する。どの方針が適切かは用途に依存するため、論文の総合点をそのまま自社の基準に置き換えない。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:複数カテゴリが同時に含まれる動画を入れた小規模な評価集合を作る。既存の二値検出器と固定報酬の複数ラベル方式を比較し、カテゴリ別の適合率・再現率、候補件数を測る。

報酬の設定を変えた際に狙った方向へ運用点が移るか、確認担当者の負担がどう変わるかを確認する。動画長やフレーム抽出間隔もそろえ、処理時間と短い危険場面の見逃しを合わせて記録する。

限界と課題

報告された性能は二つのベンチマークと定義済みカテゴリでの結果である。運用方針を調整できても、各組織の基準を自動的に理解するわけではなく、ラベル定義や評価データの整合が必要になる。

編集上の確認事項は、フレーム間の短い出来事、異なる言語や文化的文脈、カテゴリごとの少数例である。平均指標が改善しても特定カテゴリで見逃しが増える可能性があるため、調整後の性能を個別に確認したい。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Controllable Multi-label Video Safety Detection via Adaptive Tversky Policy Optimization

The rapid growth of video-based social media has increased users' exposure to harmful content, creating a need for reliable automated video safety detection. Although recent Vision-Language Models (VLMs) show strong video understanding capabilities, existing harmful video detection systems face two key limitations: they typically reduce safety detection to binary classification, overlooking the inherently multi-label nature of unsafe videos, and they rely on static training objectives that do not support controllable precision-recall trade-offs, though the desired operating point may vary across moderation pipelines and unsafe categories. To address these gaps, we propose Adaptive Tversky Policy Optimization (ATPO), a reinforcement learning framework for Multi-label Video Safety Detection (Multi-VSD). ATPO introduces the Adaptive Tversky Reward (ATR), which dynamically adjusts false-positive and false-negative penalties during training to enable controllable precision-recall trade-offs. Experiments on SafeWatch-Bench and XD-Violence show that ATPO substantially improves multi-label performance, increasing the Jaccard Index from 40.66 to 75.44 on SafeWatch-Bench-Real. Moreover, ATR enables reliable steering of the precision-recall operating point, supporting deployment scenarios with heterogeneous policy requirements. Code and checkpoints are provided at https://bruceyg.github.io/ATPO-project-page/ .

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-05