アーカイブ / Audio
マーモセットの発声を文字なしで学習・生成するGmSLMと会話順序の評価
GmSLM
GmSLMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: High level description of GmSLM .
概要
- GmSLMはマーモセットの録音を番号列に変えて並びを学び、その列から発声音声を生成する。
- 著者らの評価では、発声順序やPheeコールの応答を変えた組の判別で、人の音声に基づくS-Huを上回った。
- 研究現場で使うには、録音条件ごとの発声切り出しと、発声者・応答相手を記録した会話例での検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、GmSLMの仕組み
- 01コロニーの録音
- 02発声を番号列に変換
- 03次の番号を予測
- 04発声音声を生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
GmSLMは、マーモセットの発声を文字に書き起こさずに学習し、音声を生成する手法である。マーモセットの発声には決まった表記法がないため、単語などの文字列を扱う通常の言語モデルをそのまま使いにくい。
マーモセットは相手と交互に鳴き交わす。個々の音だけでなく、発声が続く順序や応答の組み合わせを扱えれば、会話の構造を調べる手掛かりになる。著者らは録音から学習する工程と、その構造を調べる評価課題を示した。
手法
まず、コロニーの録音から発声区間を切り出す。人の音声で事前学習したHuBERTという音声特徴抽出モデルをマーモセットの録音で追加学習し、k-meansで似た特徴に同じ番号を付ける。こうして、連続する鳴き声を時間順の離散単位、つまり番号の列に変える。番号そのものが発声の種類や意味を表すと決めているわけではない。
次にTransformerという前の要素を参照して続きの要素を予測するモデルで、番号の並びを学ぶ。同じ番号の繰り返しは、長さの手掛かりとして残す。別の音声生成工程は番号列を波形に戻す。録音から得た番号列を戻せば再合成音、モデルが作った番号列を戻せば生成音となる。
新規性
著者らは、人の音声向けに作られた音声言語モデルの各工程をマーモセットの発声に合わせ、文字や発声の種類を示すラベルを使わずに学習する手法としてGmSLMを提示した。特徴抽出を現地録音に合わせて調整し、同じ音声単位の繰り返しも残す。
評価では、自然な発声列と順序などを変えた列を対にして、どちらに高い確率を与えるかを調べる。発声者を記録した会話データも使い、応答の組み合わせを見分けられるか検証した。
従来手法との違い
S-Huは、人の音声で学習したHuBERTによる特徴抽出と、似た特徴に同じ番号を付けるk-meansを使う。S-mHuはHuBERTを人の音声で学習したまま、k-meansをマーモセットの録音に合わせる。いずれも得られた番号列で後段のモデルを学習する比較対象である。
GmSLMはk-meansに加え、HuBERTもマーモセットの録音で追加学習する。著者らは、この違いを発声列の順序とPheeコールの応答を扱う同じ評価課題で比較した。Pheeコールはマーモセットが相手との呼び交わしに使う発声である。
実験結果
著者らはColonyDBの約21万6千区間を訓練80％、検証10％、テスト10％に分けた。自然な列と加工した列の判別正答率は、Shuffle、Concat、Reversalの順にGmSLMが84.84、79.94、90.45、S-Huが67.75、78.96、83.29だった。各課題は区間内の発声順序の変更、別区間同士の結合、音声全体の逆再生を使う。
発声者を記録したPheeDBでは、応答者を変えるCallerChangeがGmSLM 71.51、S-Hu 59.67、宛先を変えるReceiverChangeが65.26、50.76だった。別データInfantMarmosetsVoxでの分類について、著者らは発声種類のF1を90.72、個体識別のF1を90.12と報告する。F1は正しく当てた割合と見落としの少なさを合わせた指標である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：飼育コロニーの録音から、研究者が確認する会話候補を探す。入力は飼育室の連続音声、出力は切り出した発声区間と、自然な順序の組にモデルが与えた判定結果とする。結果は会話の意味を示す記録としては扱わない。
学習用には対象の飼育室で得たラベルなし録音を集める。評価用には、発声者と応答相手を人が記録した会話例が必要である。使用するマイクと設置位置を記録し、雑音や録音条件に合わせて発声の切り出しと音声特徴の調整を行う想定とする。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の飼育室でマイクの設置位置と録音条件を記録し、ラベルなし音声を集める。発声を切り出して番号列への変換と予測モデルを現場の音声に合わせて調整する。評価用には別の会話例を確保し、人が発声者と応答相手を記録する。
比較の基準は、同じ録音に人の音声由来の特徴抽出を使うS-Hu型の方法とする。両者について、発声の切り出しでは適合率と再現率を、会話の組では実際の応答と相手を変えた応答の判別正答率を測る。誤判定した音声は研究者が聴いて確認する。
限界と課題
著者らは、Shuffle、Concat、Reversalの三課題では比較用の発声列を人工的に作ったと明記している。この判別成績だけから、自然な会話の意味を理解したとは言えない。音の類似性を測るFADも、相手に伝わった内容を測る指標ではない。
編集上の検証事項は、別のコロニーや録音条件で発声を切り出せるか、発声者と応答相手の判定が安定するかである。脳活動との対応づけは著者らが挙げる今後の研究方向であり、今回の評価でその対応が実証されたわけではない。
出典
元のタイトル・要旨を確認する（英語）
GmSLM : Generative Marmoset Spoken Language Modeling
Marmoset monkeys exhibit complex vocal communication, challenging the view that nonhuman primates vocal communication is entirely innate, and show similar features of human speech, such as vocal labeling of others and turn-taking. Studying their vocal communication offers a unique opportunity to link it with brain activity-especially given the difficulty of accessing the human brain in speech and language research. Since Marmosets communicate primarily through vocalizations, applying standard LLM approaches is not straightforward. We introduce Generative Marmoset Spoken Language Modeling (GmSLM), an optimized spoken language model pipeline for Marmoset vocal communication. We designed a novel zero-shot evaluation metrics using unsupervised in-the-wild data, alongside weakly labeled conversational data, to assess GmSLM and demonstrate its advantage over a basic human-speech-based baseline. GmSLM generated vocalizations closely matched real resynthesized samples acoustically and performed well on downstream tasks. Despite being fully unsupervised, GmSLM effectively distinguish real from artificial conversations and may support further investigations of the neural basis of vocal communication and provides a practical framework linking vocalization and brain activity. We believe GmSLM stands to benefit future work in neuroscience, bioacoustics, and evolutionary biology. Samples are provided under: pages.cs.huji.ac.il/adiyoss-lab/GmSLM.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01