アーカイブ / Audio
指示文の差で音声モデルの注意を動かし、指定した音の区間を探す
Instruction-Based Vector Steering
Instruction-Based Vector Steeringの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Audio attention proportion per layer under four conditions on Qwen2-Audio (MMAU-mini). Only instruction-based steering significantly increases the attention allocated to audio tokens, particularly in later layers.
概要
- 同じ音声に対する指示文だけを変えて内部状態の差を作り、その操作前後の注意の変化から指定した音の区間を探す。
- 三つの音声片を連結した500件の実験で、正解区間を覆った割合はQwen2-Audioで60.87%、Audio Flamingo 3で68.72%と著者らは報告した。
- 位置推定には正解の音声片の長さを使っている。長さが未知の録音や音が重なる録音での精度は別途検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Instruction-Based Vector Steeringの仕組み
- 01対象音を含む音声
- 02指示差から操作値作成
- 03注意変化を窓で探索
- 04対象音の候補区間
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、音声と言葉を一緒に扱う音声言語モデルが、指定された音を録音のどの時間帯で捉えているかを調べる。モデルが質問に答えても、その答えの根拠になった区間は通常の文章回答から分かりにくい。
区間が分かれば、長い録音で人が確認する箇所を絞れる。著者らは「注意」、つまりモデルが入力の各部分をどれだけ参照するかを表す内部の値に着目し、その変化を音の位置を探す手掛かりにした。
手法
まず、同じ音声と質問に「意味のある部分に注目」と「音声全体に注目」という異なる指示を添え、モデル内部の状態の差を取る。この数値の並びを操作用ベクトルと呼び、回答を作る各段階の内部状態に加える。加えた後は元の内部状態と同じ大きさに調整する。
位置推定では、例えば「猫の声はどこか」という対象別の指示からベクトルを作る。操作前後の二回で、文章側から音声の小区分へ向く注意を後半の層で比べる。時間窓を順に動かし、操作後と操作前の注意の割合の比が最大となる窓を選んで、音声上の位置を時刻に戻す。
新規性
著者らの提案は、音声を固定したまま指示文だけを変え、その内部状態の差を推論時の操作に使う点にある。音声の有無から差を作る従来の操作とは、比較する対象が異なる。
操作によって変わった注意を読み取り、指定した音の区間を探す方法も示した。追加学習やモデル構造の変更をせずに、モデル内部の時間情報を位置推定に使うという主張である。
従来手法との違い
著者らはMMAU-miniで、操作なし、注意を促す指示文のみ、音声の有無から作る操作、提案手法の四条件を比べた。音声に向く注意の割合は、提案手法で特に後半の層に変化が見られ、ほかの条件では大きく変わらなかったと報告している。
位置推定の比較対象は、正解の区間長を与えて開始時刻を直接答えさせる方法と、同じ長さの窓をランダムに置く方法である。提案手法は時刻を文章で答えさせず、操作前後の注意の変化から窓を選ぶ。
実験結果
著者らは、SAKURAから得た動物の鳴き声と言語音声を使い、長さ4.5～5.5秒の異なるラベルの音声片を三つ連結した500件を作成した。片の間には1秒の雑音を入れ、各片のラベルを個別に検索した。探索窓と直接回答の比較には、正解の音声片の長さを与えている。
指標は正解区間のうち予測窓が覆った割合である。著者らの報告では、全位置を合わせた値はQwen2-Audioで60.87%、Audio Flamingo 3で68.72%。開始時刻を直接答えさせる方法は順に31.84%、46.75%、ランダムに窓を置く方法は27.74%だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：複数の言語が順に現れる通話録音から、指定した言語の区間候補を示す。入力は録音と「日本語」などの言語名、出力は開始・終了時刻の候補とし、担当者がその箇所を再生して確定する。
モデルの追加学習は想定しないが、適用検証には言語名と時間境界を人が記した録音が必要である。音声源は既存の録音ファイルとし、新しいセンサーは前提にしない。適応時には言語名を指示文に入れ、探索窓の長さを決める必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず、三つの言語区間が重ならない録音を少数用意し、各区間の言語名、開始・終了時刻、長さを人が記録する。モデル用の追加学習データは設けず、評価用の正解ラベルを作る。入力には既存の録音ファイルを使い、新たなセンサーは前提にしない。
対象言語を指示文に入れ、正解ラベルから分かる区間長で探索窓を設定する。同じ区間長を与えて開始時刻を直接尋ねる方法を比較基準とし、正解区間を覆った割合を全体と先頭・中央・末尾別に測る。続いて区間長を未知とした条件も別に検証する。
限界と課題
著者らの実験は、異なるラベルの音声片を三つ順につなぎ、片の長さが既知で、音が重ならない条件に限られる。位置や音の種類によって重なり率も異なる。本文には「中央が両モデルで最も弱い」との説明があるが、表ではQwen2-Audioの先頭が36.90%で中央の73.39%より低い。
編集上の検証事項は、区間長が未知の場合、発話や音が重なる場合、境界が曖昧な場合の精度である。通話への応用では、背景音を含む録音で誤検出を測り、人による候補区間の確認を組み込む必要がある。
出典
元のタイトル・要旨を確認する（英語）
Steering Where to Listen: Instruction-Based Activation Steering Redirects Temporal Attention in Large Audio-Language Models
Large Audio-Language Models (LALMs) excel at audio understanding but expose little about where in an audio signal they attend. We introduce instruction-based vector steering, which constructs a steering vector by contrasting activations from differently instructed prompts while keeping the audio fixed. Through a systematic probe of LALM attention, we find that - unlike standard prompting or audio-based steering - this intervention significantly redistributes the temporal attention allocated to audio tokens, concentrating it on acoustically relevant regions. We then show that this attention shift is behaviorally meaningful: in a controlled three-event setting, reading out the temporal position of maximal steering-induced attention change recovers the location of a queried sound event without any training, attaining 60.87% and 68.72% overlap with ground-truth intervals on Qwen2-Audio and Audio Flamingo 3, far above direct prompting (31.84%, 46.75%) and random baselines (27.74%). Our results characterize a mechanistic property of instruction-based steering in LALMs and provide a training-free probe for the latent temporal structure these models encode.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01