アーカイブ / LLM / VLM / AI Agent / Audio
画像・音声・動画・文書を専門モデルに振り分けて答えるAgent-Omni
Agent-Omni
Agent-Omniの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Overview of the Agent-Omni framework. A master agent interprets the query, identifies relevant modalities, and delegates sub-questions to corresponding foundation models (text, image, audio, video). Their outputs are iteratively integrated and refined through a self-improvement loop, enabling coherent multimodal reasoning in test-time inference.
概要
- Agent-Omniは統括役が質問を入力の種類ごとに分け、既存モデルの回答を統合する。著者らは課題別の追加学習を要しないと説明する。
- 著者らの表ではMMAUの正答率は73.20%だった一方、VSI-Benchでは比較対象のDSPy-CoTが上回った。
- 事故記録への応用では、原資料との事実一致、矛盾の見落とし、応答時間を単一モデルと比較して確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Agent-Omniの仕組み
- 01質問と事故資料
- 02入力種別を整理
- 03専門モデルに照会
- 04回答を統合・再照会
- 05文章で回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Agent-Omniは、文章、画像、音声、動画を組み合わせた質問に文章で答える方法である。事故の記録なら、写真に加えて車載映像、通報音声、報告書も参照することで、複数資料にまたがる問いを扱える。
著者らは、従来の多くのモデルでは扱える入力の組み合わせが限られると説明する。全種類を扱えるよう追加学習するには、異なる種類の資料を対応付けた大量のデータが必要になる。既存モデルを回答時に組み合わせることが、この研究の狙いである。
手法
統括役のエージェントが質問の意図と資料の種類を調べ、内容をJSONという項目名付きの記録形式に整理する。次に、画像、動画、音声、文章のうち必要な種類ごとに小さな問いを作り、対応する既存の基盤モデルへ送る。モデルからの回答は、それぞれの問いと対にして記録する。
事故資料の例なら、写真の状況、映像の出来事、通報内容、報告書の記述を個別に尋ねる。統括役は回答をまとめ、情報の不足や食い違いを見つけた場合は追加の問いを出す。十分と判断するか、設定した反復回数の上限に達すると、利用者の質問への文章の回答を返す。
新規性
Agent-Omniの提案点は、文章、画像、音声、動画を扱う既存モデルを、回答時に統括役が選んで組み合わせることにある。著者らは、この方式に課題別の追加学習を要しないと説明する。
統括役は入力の種類に応じて小さな問いを作り、各モデルの回答を統合する。不足や食い違いがあれば再照会する判断まで、一連の処理に含めている。
従来手法との違い
著者らは、各基盤モデルを単独で使う方法とDSPy-CoTを比較した。DSPy-CoTは、一つのモデルに段階的な推論を促す方法である。Agent-Omniは統括役が複数モデルに問いを振り分け、結果をまとめる点で処理が異なる。
表5のVSI-Bench正答率はAgent-Omniが39.50%、Claude 3.7 Sonnetを使うDSPy-CoTが42.60%だった。論文本文には動画課題で全比較対象を上回るとの記述があるが、この数値とは一致しない。
実験結果
著者らは文章、画像、動画、音声、複合入力の課題で正答率を評価した。標準のモデル構成は、統括役と画像・動画担当がClaude 3.7 Sonnet、文章担当がDeepseek R1、音声担当がQwen2.5 Omniである。ただし反復回数の設定には、本文と表の記載に確認を要する点がある。
表6の音声課題MMAUではAgent-Omniが73.20%、Qwen2.5 Omni単独が70.90%だった。表5の動画課題VideoMathQAでは30.71%とClaude 3.7 Sonnet単独の27.62%である。一方、同表のVSI-BenchではAgent-Omniの39.50%をClaude 3.7 Sonnetを使うDSPy-CoTの42.60%が上回った。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：事故対応の記録を整理する。写真、車載映像、通報音声、警察・保険の報告書と「発生順に事実をまとめて」という問いを入力し、資料ごとの記述を照合した文章を担当者に渡す。事故資料を統合する設定は論文中の例に基づく。
まず既存の記録を使い、追加学習用データや教師ラベルは用意しない想定とする。新たな撮影・録音センサーの要否は記録の有無で判断し、資料形式と日本語の質問文に合わせてモデルの担当範囲や問いを調整する。担当者が出力を原資料と照合する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同じ案件に属する写真、映像、音声、文書を少数集め、担当者が原資料から正解を確認した質問と回答を評価用ラベルとして用意する。追加学習用のデータは想定せず、既存の撮影・録音記録を使えるか確認する。記録がなければ必要なセンサーと収集方法を別途決める。
資料形式に合わせて専門モデルの担当範囲と日本語の問いを調整し、単一モデルの回答を比較基準にする。同じ質問で事実の一致率、資料間の矛盾の見落とし件数、応答時間を測る。誤答は原資料と各モデルの中間回答に戻って原因を調べる。
限界と課題
著者らは、統括役による調整と反復で応答時間が増えると報告した。表9のVideoMathQAではAgent-Omniが20.53秒、Claude 3.7 Sonnet単独が1.86秒である。時間の制約がある用途では、同じ入力条件で速度を測る必要がある。
編集上の検証事項は、資料間の矛盾を見落とさないか、回答の根拠を原資料まで追えるか、日本語資料に対応できるかである。また、表7と表10では複合入力課題の数値が一致せず、設定文の反復上限も「33」と記される一方、表10は3回までを主に示す。これらの関係は確認できた本文の範囲では判別できない。
出典
元のタイトル・要旨を確認する（英語）
Agent-Omni: Test-Time Multimodal Reasoning via Model Coordination for Understanding Anything
Multimodal large language models (MLLMs) have shown strong capabilities but remain limited to fixed modality pairs and require costly fine-tuning with large aligned datasets. Building fully omni-capable models that can integrate text, images, audio, and video remains impractical and lacks robust reasoning support. In this paper, we propose an Agent-Omni framework that coordinates existing foundation models through a master-agent system, enabling flexible multimodal reasoning without retraining. The master agent interprets user intent, delegates subtasks to modality-specific agents, and integrates their outputs into coherent responses. Extensive experiments across text, image, audio, video, and omni benchmarks show that Agent-Omni consistently achieves state-of-the-art performance, particularly on tasks requiring complex cross-modal reasoning. Its agent-based design enables seamless integration of specialized foundation models, ensuring adaptability to diverse inputs while maintaining transparency and interpretability. In addition, the framework is modular and easily extensible, allowing future improvements as stronger models become available.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01