表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

既存の立体音響を文章で編集するSwanWeave:音の追加、移動、響きの変更を一度に生成

SwanWeave

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

SwanWeaveの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: Overview of SwanWeave , which follows natural-language instructions to edit FOA audio, such as moving a crowd from the front to the right and adding a strum on the left while preserving unchanged events.

出典:SwanWeave / arXiv ↗

概要

  • 既存の四チャンネルFOA音声と文章指示から、音の追加、位置、動き、響きの変更を反映した音場を生成する。
  • 指示全体と時間区間で処理担当を選び、音場生成から単一操作、複合操作へと段階的に学習する。
  • 著者らの合成音場テストでは、各編集種の平均FADが1.16、比較したSmartDJは2.87だった。実収録音源での確認は別途必要である。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、SwanWeaveの仕組み

左から右へ読む
  1. 01元のFOA音声と指示
  2. 02音声と指示を符号化
  3. 03編集音場を生成
  4. 04FOA音声に復元

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

SwanWeaveは、すでにある立体音響のうち、文章で指定した部分を編集する手法だ。FOAは一次アンビソニックスの略で、音場を四つのチャンネルで表す形式を指す。ゲームや映像の制作では、場面全体を作り直さず、特定の音の位置や動きだけを直したいことがある。

音を遠ざけると、音量だけでなく方向感や部屋の響き、ほかの音との重なり方も変わりうる。編集指示を満たしながら、触れていない音とその空間的な状態を保つ必要がある。

手法

入力は元のFOA音声と「左後方にバイク音を加える」といった編集指示で、出力は編集後のFOA音声だ。FOA音声を圧縮した内部表現に変換し、指示文とともに生成器へ渡す。生成器は雑音から編集後の内部表現へ近づけ、最後にFOA音声へ戻す。学習には、音素材を室内シミュレーションで配置した元音・指示・完成音の組を用いる。

生成器内のSE-MoEは、複数の処理担当から指示全体に合う組み合わせを選び、時間区間ごとにも担当を選ぶ仕組みだ。出力がゼロの担当は、変更不要な区間に使える。学習は音場生成、単一操作、複合操作の順に進み、SPOという追加学習では正しい完成音と、対象を取り違えた音や無変更の音を比べて指示への適合を促す。

新規性

著者らは、既存のFOA音場に対する複合指示を、一回の生成で完成音場に反映する初の多課題手法だと位置づける。学習時にも、個別操作の途中結果ではなく、全変更を施した完成音を正解にする。

複数の編集課題を扱うため、指示全体と時間区間の二段階で処理担当を選ぶ。変更不要な区間には出力がゼロの担当も選べる構成である。

従来手法との違い

ZETA、AudioEditor、SDEditなどの一般的な音声編集手法と、ステレオ音響を扱うSmartDJを比較対象にしている。SmartDJは本来、複合指示を個別操作へ分けて順番に処理するが、この実験では全操作を一回の推論で渡す設定に変更された。

AudioEditorも原構成の生成器を空間音響向けに置き換えている。空間指標の比較では、SwanWeaveのFOA出力と正解音を同じ固定方式でステレオに変換し、比較手法のステレオ出力と評価した。数値はこの変更後の比較条件で読む必要がある。

実験結果

著者らは、各単一操作につき50例、二つ・三つ・四つの操作を組み合わせた編集につき各50例のテスト音を作り、元の音声素材が訓練用と重ならないようにした。各編集種の平均で、FADはSwanWeaveが1.16、SmartDJが2.87、指示文と生成音の対応を表すCLAPはそれぞれ0.21、0.17だった。

角度が変わる動きの編集では、ステレオ音の空間的なずれを測るGCC MSEが1.15と23.25だった。いずれも著者らの合成音場と調整された比較手法による結果で、原則として一回の学習結果を報告している。実収録音源での性能を直接示す数値ではない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:ゲーム内の広場で、群衆の音を正面から右へ移し、左に弦を弾く音を加える。既存のFOA原音と編集指示を入力し、生成されたFOA音を音響担当者が原音と聞き比べて採否を決める。

検証には、場面に近いFOA原音、指示文、確認済みの完成音を用意する。音の種類、方向、動き、響きの記録は結果確認用のラベルとし、適応学習を試す場合は原音・指示・完成音の組を使う。既存素材を使うなら追加センサーは不要だが、新たに収録するならFOA音源を得る方法の確認が要る。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:対象場面のFOA原音を少数集め、編集指示と人が確認した完成FOA音を対にする。音の種類、方向、動き、響きのラベルは判定用に記録し、適応学習を試すなら原音・指示・完成音の組を使う。既存のFOA素材だけを使う検証には追加センサーは不要で、新規収録ならFOA音源の取得方法を確認する。

同じ指示を手作業でも編集し、比較基準にする。指示した音の有無と位置のずれ、変更していない音の保たれ方、作業時間を操作の種類ごとに記録する。ステレオ変換後の指標も測る場合は、最終的なFOA音声を聴いて確かめる。

限界と課題

著者らが報告する評価は、公開音声素材を室内シミュレーションで配置して作ったFOA音場が中心である。確認できた本文の範囲では、実収録の複雑な音場でも同じ精度が出るとは判断できず、著者らが明示した失敗例も確認できない。

編集上の検証事項は、実録音での方向のずれ、残すべき音の変化、響きの不自然さである。人手評価表は掲載されているが、確認できた本文は説明の途中で終わるため、評価者数や聴取条件を確かめてから採用判断に使いたい。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

One-Stage Multi-Task Instruction-Guided 3D Spatial Audio Editing

Spatial audio editing modifies an existing soundfield according to a user's instruction while preserving the rest of the scene. Unlike conventional audio editing, it must reason jointly about audio events, spatial information, dynamic changes, and environmental information in first-order Ambisonic (FOA) waveforms. Existing language-guided editors mainly target conventional audio or rely on sequential operations, and therefore do not directly support one-stage editing for complex 3D spatial instructions. We present SwanWeave, the first one-stage multi-task framework for instruction-guided 3D FOA spatial audio editing. We build paired FOA supervision from open-source speech and sound-effect corpora using controllable room simulation, covering more than ten single-operation and compound tasks across the four editing axes. To handle this heterogeneous edit space, SwanWeave uses Spatial Edit Mixture-of-Experts (SE-MoE) with dual-level routing, selecting task-aware expert combinations for compound instructions and frame-level routed/null experts for local edit decisions. We further introduce Spatial Preference Optimization (SPO), a Direct Preference Optimization (DPO)-based alignment objective with edit-specific negative targets, and adopt staged training to improve natural-language grounding. Experiments show that SwanWeave achieves better editing quality than existing general audio editors and spatial audio baselines across all tasks. Spatial audio editing demos can be found at https://swanaigc.github.io/#swanweave, code can be found at: https://github.com/MM-Speech/SwanWeave.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01