アーカイブ / VLM / AI Agent / Computer Vision
画像・動画の真偽と投稿文脈を、外部情報と照合して報告する手法
Multi-Agent Deep Research MLLMs
Multi-Agent Deep Research MLLMsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . ACMMM25 - Grand Challenge on Multimedia Verification dataset for verifying the authenticity and context of multimedia content.
概要
- 画像・動画の分析と外部情報の照合を六段階で進め、出典付きの検証報告書を作る。
- 50件の課題データセットのうち、詳細に示された事例ID43-3では、著者らが場所・時刻・投稿元の追跡結果を報告した。
- 全件の正答率や既存手法との定量比較は示されておらず、導入時には確認済み事例で判定と出典を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Multi-Agent Deep Research MLLMsの仕組み
- 01投稿画像・動画
- 02内容抽出と調査計画
- 03外部情報の照合
- 04証拠整理と報告
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
本物の画像や動画でも、別の出来事を説明する投稿文を添えれば誤解を招く。映像そのものが加工・生成される場合もあるため、実務では画面の状態と、投稿が主張する日時・場所・出来事を確かめる必要がある。
著者らは、映像と文章を一緒に扱うモデルが、証拠のない説明をもっともらしく作りうる点を課題に挙げる。外部情報を調べ、確認できた内容と出典を記録する仕組みを提案した。
手法
入力は画像や動画と、それに添えられた投稿文、利用可能なメタデータである。動画はマルチモーダル大規模言語モデル、つまり映像と文章を扱うモデルで場面を説明し、重要な静止画を取り出す。画像は逆画像検索で過去の掲載先を探す。計画役が確認すべき主張を選び、日時、場所、登場人物などに分ける。
調査役は検索、メタデータ解析、ファクトチェックのデータベース、確認済みニュースの処理を使って出典を照合する。例えば橋の爆発動画なら、画面の時刻表示、橋の外観、掲載記事を突き合わせる。最後に確認できた事実、食い違う主張、証拠が足りない点を整理し、人が読める報告書と機械で扱える形式に出力する。
新規性
著者らの提案は、画像・動画の読み取りから調査計画、証拠の整理、報告書の生成までを六段階でつなぐ構成にある。中心となる調査役は四種類の外部手段を使い、映像の内容と投稿の主張を調べる。
確認済みニュースを処理する機能では、場所、時刻、発信者、発信目的に関わる記述を取り出す。各機能を外した場合の影響や、どの情報源が判定に最も寄与したかを分けて測った結果は示されていない。
従来手法との違い
著者らは、従来の画像鑑識は画素の改変を調べられても投稿文脈の確認が難しく、文章中心のファクトチェックは映像を十分に扱えないと整理する。画像と文章を扱うモデルにも、根拠のない説明を作る懸念があるという。
提案手法は、映像の分析に逆画像検索、メタデータ解析、外部記事の照合を組み合わせ、判断に使った出典を報告書へ残す。確認できた本文の範囲では、既存手法との同一条件での精度や処理時間の比較値は示されていない。
実験結果
対象となるACMMM25のMultimedia Verification Grand Challengeのデータセットは50件で、画像や動画に投稿文などの文脈情報が付く。著者らが詳細を示した実演は、ウクライナのドニプロにある橋への攻撃を写したとされる動画の事例ID43-3である。
著者らの報告書は、この事例を「Verified」と判定し、動画内の時刻表示「04/05/2022 19:58:37」と投稿元として追跡したアカウントを記載する。北緯48.4647度・東経35.0462度は概略座標として示された。確認できた本文の範囲では、50件全体の正答率、既存手法との差、処理時間の集計値は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：報道機関が、災害を写したとされる投稿動画の一次調査に使う。動画、投稿文、投稿時刻、利用可能なメタデータを入力し、撮影場所・時刻の候補、関連する記事、出典、未確認事項を記した確認メモを出力する。担当者が映像と出典を見直して公開判断を行う。
追加学習に必要なデータは本文で指定されていない。試行時は、真偽や場所・日時を人が確認した過去事例を評価用ラベルとして用意し、検索対象の記事と言語、報告項目を業務に合わせて調整する。新たなセンサーの設置は想定しない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：場所、日時、初出、真偽を担当者が確認済みの投稿を少数集め、正解ラベルと参照記事を保存する。元の画像・動画、投稿文、利用可能なメタデータを入力する。追加学習用データの要件は本文にないため、まずは学習を伴わずに試す。新たなセンサーは使わない。
比較基準は担当者が普段行う検索・照合手順とする。検索先と報告項目を業務に合わせ、同じ事例で場所・日時・初出の一致件数、判断に出典が付く割合、未確認事項の記載漏れ、確認時間を測る。誤判定や根拠の取り違えは担当者が記録する。
限界と課題
著者らは今後の課題として、リアルタイム処理、多言語対応、不確実性の示し方、人が判定に異議を唱えられる仕組みを挙げる。これらは将来の開発項目であり、現行システムについて測定された限界値ではない。
編集上の検証事項は、検索先の記事が誤っている場合や、再投稿でメタデータが失われた場合に判定がどう変わるかである。示された座標はドニプロの概略座標と記されており、橋の正確な位置とは扱えない。日付「04/05/2022」も日月の順序を元データで確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Multimedia Verification Through Multi-Agent Deep Research Multimodal Large Language Models
This paper presents our submission to the ACMMM25 - Grand Challenge on Multimedia Verification. We developed a multi-agent verification system that combines Multimodal Large Language Models (MLLMs) with specialized verification tools to detect multimedia misinformation. Our system operates through six stages: raw data processing, planning, information extraction, deep research, evidence collection, and report generation. The core Deep Researcher Agent employs four tools: reverse image search, metadata analysis, fact-checking databases, and verified news processing that extracts spatial, temporal, attribution, and motivational context. We demonstrate our approach on a challenge dataset sample involving complex multimedia content. Our system successfully verified content authenticity, extracted precise geolocation and timing information, and traced source attribution across multiple platforms, effectively addressing real-world multimedia verification scenarios.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01