アーカイブ / Audio / LLM
音声で質問すると落ちる回答性能を、文字モデルの評価で補うX-OPD
X-OPD
X-OPDの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of the proposed Cross-Modal On-Policy Distillation (X-OPD) framework.
概要
- X-OPDは音声モデル自身の応答を文字モデルがトークン単位で評価し、音声・文字の両入力で学習させる。
- 著者らの条件では、BIG Bench Audioの音声入力正答率が85.67から93.41となった。
- 実務適用には意味が一致する音声と書き起こしを用意し、対象業務の正解付き質問で別途検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、X-OPDの仕組み
- 01対応する音声と文字
- 02学生が応答を生成
- 03文字教師が各語片を評価
- 04音声モデルを更新
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
X-OPDは、音声で質問を受ける大規模言語モデル（LLM）の回答能力を、文字入力を扱うモデルの能力に近づける学習法である。音声認識、LLM、音声合成を順につなぐ方式に比べ、音声を直接扱う方式には遅延や抑揚の扱いで利点があると著者らは述べる。
一方、複雑な指示や推論では、音声入力時の性能が文字入力時より低くなる。著者らは、音声と推論を対応付けたデータの不足と、音の表現を文字モデルの推論能力につなぐ難しさを要因に挙げる。
手法
学習には、同じ意味の音声質問と文字の質問を対で用意する。学生役の音声LLMが両方の入力から複数の応答を生成し、教師役の文字LLMが文字の質問を基に各トークンを評価する。トークンはモデルが文章を扱う小さな単位で、例えば質問「申請期限はいつ」への回答を構成する各部分に当たる。
評価には、教師と学生がその部分を出す確率の差を使う。文字入力時の差と音声入力時の差を別々に計算し、重み付けして学生を更新する。「オンポリシー」は、その時点の学生自身の応答を学習に使うという意味である。複数の応答を採るのは、一つの生成結果に左右される度合いを抑えるためだ。
新規性
X-OPDは、音声モデル自身がその時点で生成した応答を、文字入力を受けた教師モデルに評価させる。応答を固定して学ばせる方式と異なり、学習中のモデルが実際に出す文章に沿って評価を受ける。
さらに、文字入力時の能力を保つ目標と、音声入力時の応答を教師に近づける目標を組み合わせる。学習時に質問ごとの正解応答を必須としない点も、著者らが挙げる特徴である。
従来手法との違い
著者らは、正解応答で学ぶ教師あり微調整（SFT）、教師が生成した応答で学ぶオフライン知識蒸留、教師との出力確率の差を使うGKDを比較対象にした。X-OPDは、学生モデル自身が生成した応答について教師から評価を得る。
同じ学習データを使った表では、比較した三手法の音声入力時の平均性能低下はX-OPDより大きい。この比較が示すのは、掲載されたモデル、学習条件、評価課題での差である。
実験結果
著者らはQwen3-Omni-A3B-Instructを学生、Qwen3-A3B-Instructを教師に使った。学習用の音声・文字対はTulu 3由来が10,934組、NaturalReasoning由来が16,913組。文字の質問を話し言葉に直して音声合成し、音声認識の単語誤り率が5％を超える対は除いた。
著者らの表では、音声入力のBIG Bench Audio正答率は85.67から93.41、Audio Multi-Challengeの平均通過率は23.57から28.14となった。VoiceBenchの7区分平均は89.22から89.29。各課題で3回推論し、各出力を3回判定した平均値である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。社内手続きの音声質問に文章で答える窓口を想定する。入力はマイクで録った質問音声と、質問に含める手続き情報、出力は回答文と確認すべき手続き名とする。社内文書をどうモデルへ渡すかは別途設計する。
学習には、実際の問い合わせに近い音声と、意味が一致する書き起こしが要る。手続き情報を音声側と文字側で同じ意味にそろえる調整も必要だ。学習用の正解回答ラベルは必須としないが、実務上の効果を判定する質問には人手で正解を付ける。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。対象を一つの社内手続きに絞り、質問音声と意味が一致する書き起こしを集める。音声取得にはマイクを使い、録音時の雑音や話し方を記録する。学習用の正解回答ラベルは必須とせず、評価用の質問には根拠付きの正解を人手で付ける。
手続き情報を両入力で同じ意味になるよう整えた上で、元の音声モデルとX-OPD適用後を同じ質問群で比べる。音声入力と文字入力を別々に試し、正答率、指示に従えた割合、応答時間を測る。書き起こしの誤りも確認し、適用範囲を決める。
限界と課題
著者らは既存手法の課題として、音声と推論を対応付けた高品質データの不足や、固定した教師応答と学生モデルの実際の生成とのずれを挙げる。X-OPDについても、音の理解を調べるMMARでは元モデルの正答率71.3％に対し69.3％で、低下がないわけではない。
編集上の検証事項は、実際の話し方や雑音の下でも音声と書き起こしの意味が一致するか、社内手続きで誤答が増えないかである。掲載結果だけでは、導入先の録音条件や専門用語に対する性能は判断できない。
出典
元のタイトル・要旨を確認する（英語）
X-OPD: Cross-Modal On-Policy Distillation for Capability Alignment in Speech LLMs
While the shift from cascaded dialogue systems to end-to-end (E2E) speech Large Language Models (LLMs) improves latency and paralinguistic modeling, E2E models often exhibit a significant performance degradation compared to their text-based counterparts. The standard Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) training methods fail to close this gap. To address this, we propose X-OPD, a novel Cross-Modal On-Policy Distillation framework designed to systematically align the capabilities of Speech LLMs to their text-based counterparts. X-OPD enables the Speech LLM to explore its own distribution via on-policy rollouts, where a text-based teacher model evaluates these trajectories and provides token-level feedback, effectively distilling teacher's capabilities into student's multi-modal representations. Extensive experiments across multiple benchmarks demonstrate that X-OPD significantly narrows the gap in complex tasks while preserving the model's inherent capabilities.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01