声の特徴を圧縮して変換するLatentVoiceGrad――VoiceGradの音質と速度を改善
- メルスペクトログラムを圧縮した表現上で声質を変換し、復元して音声波形を作る。
- 著者らは元のVoiceGradより音質と速度が改善したと報告するが、確認できた範囲に改善幅の測定値はない。
- 拡散モデルに加え、フローマッチングを変換処理の代替として検討している。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
４小節ごとの音と曲全体の反復からAI生成音楽を判定する
- 強拍を基準に曲を４小節ずつに分け、区間の音響特徴と区間間の反復などを使ってAI生成音楽を判定する。
- 著者らのSONICSの120秒音声実験では、MERTを使った構成のF1値は0.9992、Wav2vec 2.0を使った構成は0.7846だった。
- 投稿曲への適用には、出所を確認した正解ラベルを用意し、見落としと誤検出を対象データで測る必要がある。
ピアノ演奏を短い待ち時間で採譜する――音符検出の速さと精度を検証
- Mobile-AMTを基に、音声の特徴化、モデル、事後処理を低遅延の採譜向けに変更した。
- MAESTRO v3.0の最終比較では、発音時刻F1の優劣が許容誤差10ミリ秒と30ミリ秒で入れ替わった。
- 窓に設定した10ミリ秒は前処理の先読み時間であり、収音から表示までの総遅延ではない。
本物と合成が混ざる発話を、音声偽装検出でどう評価するか
- HSADは人間・複製・合成・混合の四種類の発話を、区間の情報や音質加工の条件とともに扱う。
- 著者らはHSADに適応したASTで正解率97％超、F1スコア約99％を報告するが、複雑な混合音声には誤りが残る。
- 加工音声の件数と評価モデル数は要旨と本文で食い違い、確認できた範囲では報告値の詳しい対象条件を確定できない。
推薦が内容注意の付いた作品を増やすか――映画とファン作品の二つのデータセット
- ML-DDDは映画の点数評価と内容注意の投票、AO3はファン作品の公開kudosと警告分類を結び付けた。
- 著者らは、推薦上位と利用者の履歴で警告付き作品の割合を比べる指標を導入した。
- 無作為抽出した各1,000人への上位100件では、警告全体の平均増幅はML-DDDでTopPop、AO3でRandomが最大だった。
複数条件を含む検索を8課題で測るCRUMB――検索漏れと順位の課題
- CRUMBは、複数条件を含む検索を8課題で測る評価集合で、分割文書版と5課題の全文書版を備える。
- 著者らが報告した全課題平均の各指標の最高値は、nDCG@10が0.346、R@100が0.587だった。
- 質問の書き換えは弱いモデルに有効な場合があった一方、最も強いモデルでは試した全手法で全指標が低下した。
学習言語を段階的に増やす多言語エンコーダーmmBERT――検索性能と低資源言語の検証点
- mmBERTは約3兆トークンで学習し、対象言語を60、110、1833へ段階的に増やす多言語エンコーダー。
- 著者らの多言語MTEB v2評価では、Baseのカテゴリ平均が54.1で、XLM-R Baseの52.4を上回った。
- 終盤に加えた二言語では質問応答のF1が改善したが、対象言語や業務文書での性能は個別に検証する必要がある。
動画と音声の質問応答で、回答前に推論方針を選ぶCogGuide
- CogGuideは動画・音声・質問から意図を文章化し、三つの推論方針から一つを選んで回答モデルに渡す。
- 著者らはDaily-Omniの特定のモデル構成で、正答率が基本構成の47.45%から56.96%になったと報告する。
- 業務で試す際は、正答を付けた自社の動画・音声で直接回答する構成と比べ、正答率と応答時間を測る。
端末データの変化に応じて適応層を更新するPersona
- Personaは端末の新しいデータからクラウドで重みの変更量を生成し、端末で再学習せずに適応層を更新する。
- 複数の原型モデルから変更量が小さい候補を選び、層ごとの編集と割り当てを整合させる。
- 本文の図はNDCG@5で0.3022対0.2482、所要時間で1秒対10秒を示すが、対応するデータセットと測定条件は確認できた範囲で特定できない。
本人の割り込みを見分け、発話の意味的な終わりを待つ音声対話システム
- pVADで主話者の発話を検出し、本人の割り込み時に再生を止める。発言の完了は文字起こしの意味から判定する。
- 著者らの割り込み試験では、FireRedChatのT90は170ミリ秒、誤割り込み率は10.2％だった。
- ツールを呼ばない合成発話25件で、入力終了から最初の応答音声までの時間の中央値は2.341秒だった。
500億件のベクトルを一つの論理グラフで検索するDistributedANN
- 分散した保存先に約500億件のベクトルを一つの論理グラフとして置き、先頭索引と保存先での距離計算を使って検索する。
- 著者らの3複製での比較では、Recall@5は90.8％対83.0％、処理量は毎秒10万件超対約1万5000件だった。
- 同じ比較で中央値待ち時間は26対16ミリ秒、SSD使用量は780対270 TiBと増えた。
少数のマイク測定から未測定位置の室内応答を時間波形で推定する
- 既知の音源信号と少数のマイク測定から、未測定位置の室内応答を時間波形として推定する。
- 重み付けなしの解は従来の周波数領域の解と等価で、提案法は時間的特徴と既知の到来方向を推定に反映できる。
- 著者らは時間方向の重み付けによる性能改善を報告するが、確認できた本文の範囲では評価指標と改善幅を確認できない。