アーカイブ / Audio / AI Agent
声の依頼から予定登録やメール送信まで進める対話エージェントAURA
AURA
AURAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: User Interface for AURA
概要
- 音声認識、言語モデル、音声合成をつなぎ、複数往復の会話中に予定表や検索などのツールを実行する。
- 著者らの評価では、OpenBookQAの正答率は92.75％、30件の複数往復タスクでの成功率は90％だった。
- 会議調整への適用には、日時や参加者の聞き違いを想定した実行前確認と、誤登録の測定が必要になる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AURAの仕組み
- 01利用者の音声
- 02発話の文字化
- 03操作の判断と実行
- 04結果の音声応答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AURAは、利用者の声を受け、会話を続けながら検索や予定登録などの操作を進める。たとえば会議の依頼では、相手が分かっても日時が未指定なら、登録前に追加のやり取りが必要になる。
著者らは、既存の音声対話の評価では聞き取りや応答に重点が置かれ、実際の外部ツール操作を十分に扱っていないと指摘する。実務で使うには、会話中に得た情報と操作の成否を保持し、次の応答や操作に反映することが課題となる。
手法
ASR（音声認識）が発話を文字に変え、制御部が会話の履歴を更新する。LLM（大規模言語モデル）が履歴を基に次の発話や操作を選び、制御部が予定表、連絡先、検索、メールなどの操作を実行する。操作後の結果を履歴に加え、返答はTTS（文字を音声に変える技術）で読み上げる。
たとえば「田中さんとの会議を入れて」という依頼で日時が足りなければ、質問を返す。利用者の返答や予定登録の成否を次の判断に使い、対話を続ける。著者らは判断と操作を交互に進める方式をReActと呼び、必要に応じて会話中の重要事項を項目ごとに保持する機能も設けている。
新規性
著者らはAURAを、音声で複数回やり取りしながら外部ツールを実行できる、初のオープンソースの音声対音声型エージェントと位置付ける。会話と操作結果を次の判断に取り込む構成が提案の中心である。
新しい操作は、自然言語による説明と実行用のアクションクラスを追加して組み込む設計とした。論文が示す操作には、予定の登録・編集、検索、連絡先の取得、メール送信がある。
従来手法との違い
VoiceBenchでは、音声から直接応答するモデルと、音声認識を言語モデルにつなぐ構成が比較対象に含まれる。AURAは後者の段階的な構成を採り、言語モデルによる判断から外部操作を呼び出す。
OpenBookQAでは、Whisper-v3-largeを音声認識に使うAURAの正答率が92.75％、同じ音声認識器とGPT-4oを使う構成が92.97％だった。AlpacaEvalではAURAの4.39点に対し、表に載るQwen3-8BとParakeet-TDT-0.6b-V2の構成は4.68点であり、全課題で最良という結果ではない。
実験結果
著者らのVoiceBench評価では、OpenBookQAの正答率はAURAとWhisper-v3-largeの構成で92.75％、AURAとESPnet-OWSMの構成で89.23％だった。自由回答をGPT-4o-miniが1～5点で採点するAlpacaEvalでは、それぞれ4.39点と4.33点である。
複数往復の操作を伴う30件の人手評価では、共著者による判定で、易しい課題6件の成功率が100％、中程度12件が91.67％、難しい課題12件が83.33％だった。会話で得た項目群が正解と完全一致する割合を測るSpokenWOZのJGAは28.76％で、表中の比較対象は25.65％だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内会議の予定調整を音声で受け付ける。利用者が参加者と候補日時をマイクに話し、必要な情報が欠けていれば聞き返す。連絡先と予定表の操作結果を確認し、登録結果を音声で伝える流れを想定する。
必要な入力は依頼の音声と、接続先で参照できる連絡先・予定表の情報である。評価には実際の依頼例と、正しい参加者、日時、登録してよいかを示すラベルを用意する。組織の項目名や操作規則への適応、追加学習用データの要否は検証時に決める。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：会議調整の音声依頼を少数用意し、聞き返しから予定登録、完了報告まで試す。入力用のマイクと、対象組織の予定表・連絡先への接続を用意し、項目名と実行条件を接続先に合わせて設定する。
評価用には依頼音声と、正しい参加者・日時・実行可否を示すラベルが必要になる。追加学習用データが要るかは採用する構成に応じて確認する。担当者が同じ依頼を手作業で処理した結果を基準に、正しい登録件数、確認漏れ、誤登録、完了までの時間を記録する。
限界と課題
確認できた本文の範囲では、著者らが明示した限界の記述は見当たらない。複数往復の操作評価は30件で、評価者は共著者だった。示された成功率から、別の組織や依頼内容での成功率までは判断できない。
編集上の検証事項は、音声認識が日時や宛先を取り違えた際に、聞き返しや実行前確認で誤操作を防げるかである。論文にはメールの承認済み宛先を限定する設定がある。現場では予定変更や送信失敗も含め、実行結果の記録と訂正手順を確かめたい。
出典
元のタイトル・要旨を確認する（英語）
AURA: Agent for Understanding, Reasoning, and Automated Tool Use in Voice-Driven Tasks
Despite advances in language and speech technologies, no open-source system enables full speech-to-speech, multi-turn dialogue with integrated tool use and agentic reasoning. We introduce AURA (Agent for Understanding, Reasoning, and Automated Tool Use), the first open-source, speech-native assistant capable of completing complex, goal-driven tasks through dynamic tool invocation and multi-turn conversation. AURA combines open-weight ASR, TTS, and LLMs in a cascaded pipeline and supports tools such as calendar booking, contact lookup, web search, and email. Its modular design allows easy integration of new tools using natural language prompts and action classes. On VoiceBench, AURA scores 92.75% on OpenBookQA-outperforming all open-weight systems and nearing GPT-4o-and 4.39 on AlpacaEval, competitive with other open-weight systems. Human evaluation shows 90% task success on complex, multi-turn speech tasks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01