アーカイブ / Audio
布センサーで声の生成を操る――身体の動きから音声AIを探る公演
Embodied Exploration of Latent Spaces and Explainable AI
Embodied Exploration of Latent Spaces and Explainable AIの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1.
概要
- 出演者の声で学習したRAVEを、衣服の布製センサーや舞台上のプログラミングと結び付けて人工音声を操作した。
- 2023年の4時間の公演では、出演者が動きを繰り返し、声の変化との関係を探ったと著者らは報告する。
- 確認できた本文には、説明可能性の向上を測る指標や対照実験の結果は示されていない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Embodied Exploration of Latent Spaces and Explainable AIの仕組み
- 01出演者の声
- 02RAVEを学習
- 03布センサーで動きを取得
- 04潜在値を操作
- 05人工音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
音声生成AIの内部の数値を変えると声も変わるが、演奏者がどの動きで何が変わるかをつかむには、操作と音を結び付ける経験が要る。説明可能なAIとは、モデルの働きを人が理解しやすくするための研究分野である。
本稿が扱うのは、2023年3月にベルリンで行われた公演だ。出演者の声から作ったモデルを身に着けるセンサーにつなぎ、身体による探索がAIの理解にどう関わるかを考察する。
手法
出演者の声を集め、リアルタイム音声生成モデルRAVEを学習させる。RAVEが用いる変分オートエンコーダは、音を内部の数値表現に写し、その数値から音を作る仕組みである。数値が取り得る範囲を潜在空間と呼び、値を操作して人工音声の変化を探る。
公演では、衣服の曲げや伸びを捉える布製センサーで身体の動きを読み取った。単一のセンサー値で音を直接鳴らすほか、複数の値を機械学習で少数の合成用パラメータにまとめる構成も記されている。動作を識別し反復を認識する仕組みも使った。例えば出演者が脚を曲げる動きを繰り返し、声の変化を聞きながら関係を探る。舞台上でプログラムを書くライブコーディングの担当者も、センサー情報を使って音を操作した。
新規性
著者らは、出演者の声で学習した音声生成モデルRAVEを、身に着ける布製センサー、舞台上でのプログラミング、身体表現と組み合わせた公演を報告する。動きを通じてモデル内部の値を探る試みである。
繰り返す動きと聞こえる声を結び付ける経験を、AIの働きを理解する手掛かりとして論じている。理解度の向上を数値で示した研究ではなく、公演を基に説明可能なAIへの接近を考察した論考である。
従来手法との違い
本文は、通常のオートエンコーダが音などの入力を固定長の数値列に写すのに対し、変分オートエンコーダは数値の分布を学び、そこから値を取り出すと説明する。同じ領域を扱っても、取り出される値には偶然性がある。
操作については、単一のセンサー値で音を直接鳴らす方法と、複数の値を機械学習で少数の音声合成用パラメータにまとめる方法が記されている。両方式の操作性や出力を比べた数値結果は示されていない。
実験結果
著者らが報告するのは、2023年3月にベルリンのTransmediale Studiosで開かれた4時間の公演である。観客は途中から出入りでき、参加者はライブコーディング担当2人、出演者5人、電子部品を組み込む布の制作者1人と記される。
構成上は出演者1人につき最大8個のアナログセンサーを読み取れる。著者らは、動きの反復が声の出方を探る助けとなり、言葉らしく聞こえる場面では動きとの対応を求める様子が見られたと振り返る。確認できた本文の範囲では、評価用データセット、理解度の指標、対照条件、改善を示す数値結果は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：少人数の音声表現ワークショップで、参加者の同意を得て声を収録し、その音声をRAVEの学習データにする。衣服の曲げや伸びを読む布製センサーを入力に、参加者の動きに応じた人工音声を会場で出力する。
参加者は同じ動きを繰り返し、センサー値と聞こえた変化を記録する。特定の動作を認識させるなら、動作名を付けた記録を別途集めて設定を合わせる。動きと音の関係を理解しやすくなるかは、この用途で検証する仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同意を得た参加者の声をRAVEの学習データとして収録し、衣服の曲げや伸びを読む布製センサーを用意する。まず単一センサー値で音を直接操作する方法を基準に、動作、センサー値、出力音を対応付けて記録する。
次に複数のセンサー値を少数の合成用パラメータへまとめる設定に合わせ、同じ動作を試す。動作認識も使う場合は、動作名のラベルを付けた記録を別途集める。反復時の音のばらつきと、参加者が予想した音の変化が実際の出力に合う割合を両方式で測る。
限界と課題
著者らは、変分オートエンコーダの値の取り出しには偶然性があり、同じ付近の内部表現から異なる出力が生じ得ると説明する。公演では、声が言葉らしく聞こえると、出演者が動きと音の対応を特に探ろうとしたとも振り返る。
編集上の検証事項：同じ動作による音の再現性と、出演者以外が対応を理解できるかを調べる必要がある。また本文には出演者が5人との記述と、顔のセンサーからデータを送った出演者が4人との記述があり、対象範囲の確認が必要である。
出典
元のタイトル・要旨を確認する（英語）
Embodied Exploration of Latent Spaces and Explainable AI
In this paper, we explore how performers' embodied interactions with a Neural Audio Synthesis model allow the exploration of the latent space of such a model, mediated through movements sensed by e-textiles. We provide background and context for the performance, highlighting the potential of embodied practices to contribute to developing explainable AI systems. By integrating various artistic domains with explainable AI principles, our interdisciplinary exploration contributes to the discourse on art, embodiment, and AI, offering insights into intuitive approaches found through bodily expression.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01