アーカイブ / Audio / Generative AI
輪になって踊る人々の動きで音楽を変えるEncypher
Encypher
Encypherの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . Dancers in an Encypher cypher, each standing in a colored pool of light projected onto the floor of their zone; the screen has been replaced by light on the dancers themselves. Six people dancing in a dark performance hall, each lit from above by a differently colored spotlight forming a circle of colored pools on the floor.
概要
- 深度カメラで複数人の動きと位置関係を捉え、連続して生成される音楽へ反映する。
- 著者らは15人との共同設計、11人の参加者調査、公開イベントと公演を通じ、音楽を集団の動きへの反応と感じる体験を報告した。
- 人が重なると関節追跡が劣化し、初参加者や既存の交流様式を持つ集団では受け止め方が異なった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Encypherの仕組み
- 01輪で踊る人々
- 02深度カメラで追跡
- 03集団の動きを抽出
- 04生成音楽を調整
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Encypherは、複数人が輪になって自由に踊る「サイファー」の動きを、その場の音楽へ反映する仕組みである。サイファーでは踊り手が交代し、互いの動きに反応するため、音楽への関わり方も一人ずつの操作だけでは捉えにくい。
著者らは、人とAIの共同創作研究が一人の演者を中心に扱いがちな点に着目した。複数人が一緒に踊る場合、周囲の人の存在を感じ、動きを見合えるかも設計上の課題となる。
手法
深度カメラは、人までの距離を含む映像から踊り手の関節位置を追跡する。システムは関節の動きから活動量や位置、参加者同士の近さを取り出し、Max/MSPという音楽制作・制御用の環境に送る。例えば二人が近づき、輪全体の動きが強まれば、個人の動作に加えて集団の状態も入力になる。
Max/MSPは、音楽を連続生成するLyriaRTへの指示を制御する。図示された仕組みでは、音楽を言葉で指定する文章の要素ごとの重みと、次の音を選ぶ候補数（top-K）や選択のばらつき（temperature）を動きに応じて変える。生成された音楽が踊り手に流れ、次の動きを促す。個々の動きと各設定値の厳密な対応は、確認できた本文の範囲では分からない。
新規性
Encypherは、複数人の位置、動き、近さをまとめて捉え、輪で踊る集団の状態を音楽生成に反映する。著者らが掲げる技術的な進展は、一人ずつの音符操作から、集団による連続的な音声生成の制御への拡張である。
研究では、音楽を誰が動かしていると感じるかにも着目する。著者らは、参加者が音楽を場全体への反応と受け止める「共有された主体性」を報告した。
従来手法との違い
先行するCon Motoは、二人の踊り手の動きでMIDI（音符などを表す演奏情報）を細かく操作した。Encypherは複数人の輪を対象とし、音符単位の操作から、連続して生成される音声の方向付けへ移している。
関連研究のC-Battleは、身体に装着したスマートフォンで動きを捉え、事前に作った音素材などを鳴らす。Encypherは深度カメラで複数人を追跡し、その場で音楽を生成する。両方式の性能を同条件で数値比較した結果は確認できない。
実験結果
著者らは、地元の踊り手15人との5週間の共同設計、互いに面識がなくダンス経験の浅い11人の参加者による調査、公開の博物館イベント、ライブ公演を報告した。参加者が音楽を自分一人ではなく場全体の動きへの反応と捉え、互いの動きを手掛かりにしたという観察結果を示す。
設置時には一台の深度カメラで最大15人を検出したが、人が重なると関節追跡は劣化した。著者らは、参加者調査で用いた最大6人の集団には一台で足りたと述べる。確認できた本文の範囲では、交流の変化を示す指標別の数値や統計検定、比較条件の詳細は分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：地域のダンス体験会で、初対面の参加者が輪になって即興で踊る場を試す。深度カメラから得た関節位置、活動量、参加者間の距離を入力とし、変化する音楽を会場に流す。出力を聞いた参加者が次の動きを選ぶ流れを観察する。
この案では追加学習を行わず、動きの正解ラベルも用意しない。既存の音楽生成モデルが何を学習元データとしたかは確認できない。会場の人数と配置に合わせ、動きと音楽の対応を参加者と調整する必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず少人数の体験会で、深度カメラが捉える関節位置と参加者間の距離を入力に、動きで音楽が変わる設定を試す。比較用に、動きに連動しない音楽を流す回を設け、人数、配置、進行をそろえて記録する。
追加の学習用映像や正解ラベルは用意しない案とし、既存モデルの学習元データは未確認として扱う。会場に合わせて動きと音楽の対応を調整し、互いを見る場面、音の変化を理解できた人数、関節追跡が途切れた回数を各回で比べる。
限界と課題
著者らは、初参加者に当初の戸惑いがあり、既存の交流様式を持つダンス集団ではシステムの枠組みが受け入れられない場合もあったと報告する。人が前後に重なると関節追跡が劣化した。複数カメラでは遮蔽への対応が改善した一方、著者らの使用機材では処理速度が半減した。
編集上の検証事項は、照明、人数、立ち位置が変わる会場で追跡と音楽の応答が保てるか、参加者が動きと音の関係を理解できるかである。別の集団でも交流が促されるとは、この結果だけでは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Encypher: Shared Agency and Social Presence in Collaborative Music Generation for Dance Cyphers
Music and dance are social practices of expression and connection, yet most HCI work in human-AI co-creation centers the solo performer. As generative music matures, we ask not only what AI can compose but what social encounters it can organize around sound. We present Encypher, a collaborative generative music system that translates collective movement qualities into text prompts conditioning real-time music generation for dance cyphers. Through five weeks of co-design with local dancers, a user study with unacquainted participants, a public museum event, and a live performance, we found that users developed shared agency, perceiving the music as a response to the room's energy. While newcomers felt uncertain, the system fostered social presence by prompting them to look to each other for cues. By treating sociality as a design concern rather than a downstream effect, we offer a framework and design implications for AI systems for collaborative, embodied expression.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01