アーカイブ / Audio / AI Agent
音声指示から正しい機能と引数を選べるか――車・家・ウェアラブル向け評価データAudio2Tool
Audio2Tool
概要
- 車・家・ウェアラブルの152機能を23分類に整理し、約3万件の問い合わせで音声からの機能呼び出しを評価する。
- 8段階の指示、異なる話者の合成音声、環境雑音を用い、機能選択、引数、複数操作の順序を調べる。
- 著者らの評価では、Qwen-3-Omni-30Bの機能名の正解率は第1段階で92.4%、文脈から推測する第4段階で33.4%だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Audio2Toolの仕組み
- 01対象機器の機能
- 028段階の指示文
- 03正解機能と引数
- 04話者別の音声合成
- 05雑音入り評価音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
音声で機器を操作するときは、発話の意味を捉えても、呼び出す機能や設定値を誤れば意図した動作にならない。複数の依頼や周囲の雑音がある場面では、機能の選択、値の抽出、聞き取りのどこで失敗したかを分けて調べたい。
Audio2Toolは、音声から機器の機能を選ぶ能力を測る評価データである。車、家、ウェアラブル機器を対象に、短い命令から会話をまたぐ依頼まで扱う。
手法
著者らは3分野の機能を基に、直接命令、値の指定、複数操作、文脈からの推測など、難しさが異なる8段階の指示文を作る。「フロントガラスの曇りを取って、充電所を探して」なら、二つの機能を順に選ぶ課題になる。各指示には、呼ぶべき機能と渡す引数を正解として対応付ける。
次に、文章を音声に変える音声合成で話者の声を変え、車内音や室内音などの雑音を混ぜる。出来上がった音声をモデルに入力し、出力された機能名、引数、操作の順序を正解と照合する。指示文は言語モデルで生成し、別のモデルによる確認で問題が見つかった指示と正解は人手で点検している。
新規性
Audio2Toolは、音声から実行対象の機能と引数を選ぶ課題を、直接命令から複数操作、言い直し、会話の継続、別話者の発話まで8段階に分けて評価する。失敗した条件を指示の複雑さごとに調べられる設計だ。
著者らは車・家・ウェアラブルの152機能を23分類に整理し、合成する話者の声と環境雑音も変えている。機能選択だけでなく、引数や複数操作の順序まで正解と照合する点が特徴である。
従来手法との違い
従来の音声理解データには、発話の意図や必要な情報を抽出するものがある。Audio2Toolでは、選んだ機能名、その機能に渡す値である引数、複数操作の順序が正解と一致するかを調べる。
著者らは、音声を直接処理する音声言語モデルと、音声認識で文字にしてから言語モデルに渡す方式を評価した。比較対象や成績は段階によって異なり、音声を直接扱う方式が一貫して優れるとは報告していない。
実験結果
著者らは約3万件の問い合わせを用い、音声言語モデルと、Whisper 3で文字起こしして言語モデルに渡す方式を評価した。指標は機能名と複数操作の順序を調べる正解率（Acc）、機能と全引数の完全一致率（EM）、引数の一致度を調べるF1である。引数のない第1段階ではF1を算出しない。
著者らの表では、Qwen-3-Omni-30BのAccは直接命令の第1段階で92.4%、文脈から意図を推測する第4段階で33.4%だった。会話をまたぐ第7段階の同モデルのEMは16.3%。著者らは、複数操作や文脈判断を要する条件と、雑音を加えた条件で性能が低下すると報告している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：車内音声操作の導入前に、誤操作を調べる評価セットを作る。入力には対象車両の機能定義と引数の仕様、利用者の発話例、実際の収音手段で得た車内音声を使う。各発話に、実行すべき機能、値、順序、実行不要かどうかの正解ラベルを付ける。
例えば「曇りを取って、近くの充電所を探して」への出力を正解と照合する。言い直しや同乗者の声も含め、機能定義と出力形式を対象車両に合わせて評価する。追加学習を行うなら別途、同じ利用環境の学習用音声と正解ラベルが必要になる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象機器の機能一覧と引数の仕様を集め、実際に使う操作へ評価範囲を合わせる。導入先の収音手段で発話と雑音を収録し、機能、値、順序、操作不要の発話に人手で正解ラベルを付ける。まず追加学習は行わず、収録音声を共通の評価入力にする。
同じ音声で、候補の音声モデルと、文字起こし後に機能を選ぶ方式を比較する。Acc、EMに加え、不要な操作を出した件数を話者や雑音の条件別に数える。必要なら機能定義と出力形式を調整し、別に確保した正解付き音声で再測定する。
限界と課題
著者らが明示する制約は、多様な合成話者と雑音を用いていても、評価音声が生成音声に依存する点である。実録音の追加、安全上重要な場面の拡充、対象分野の拡大を今後の課題として挙げている。
編集上の検証事項は、導入先の話者、収音条件、機能仕様が評価データと合うか、誤った操作を実行前に止められるかである。利用可能性についても、要旨の「公開済み」と本文の「採択後に公開」という記述が食い違うため、利用前に確認が要る。
出典
元のタイトル・要旨を確認する（英語）
Audio2Tool: Speak, Call, Act -- A Dataset for Benchmarking Speech Tool Use
Voice assistants increasingly rely on Speech Language Models (SpeechLMs) to interpret spoken queries and execute complex tasks, yet existing benchmarks lack domain breadth, acoustic diversity, and compositional reasoning complexity to evaluate tool-calling performance. We introduce Audio2Tool, a large-scale dataset comprising approximately 30,000 queries designed to assess tool-calling capabilities of SpeechLMs across three primary domains: Smart Car, Smart Home, and Wearables. Our benchmark features a multi-tier complexity hierarchy, ranging from simple direct commands to complex multi-intent and needle-in-a-haystack extraction to isolate distinct failure modes. To ensure realism, we employ zero-shot voice cloning text-to-speech synthesis and diverse noise profiles to simulate in-the-wild conditions. Evaluations of state-of-the-art SpeechLMs and ASR-LLM pipelines show strong performance on simple commands but significant degradation under compositional and acoustic challenges. Code and dataset are publicly available on the project page: https://audio2tool.github.io/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01