楽曲の音色と調性を一つのモデルで捉える、二つのトークンを使った音楽解析
- MT2は共有モデル内の二つのクラストークンで、楽曲間の類似性と移調に応じた変化を学ぶ。
- 著者らのTinySOL楽器認識では、MT2の対照側トークンの正解率は0.925、ViT-Melは0.904だった。
- 調性推定ではViT-CQT、拍追跡ではMERTの値が高く、課題ごとの評価が必要である。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
異なる注釈の音声を使い、文字起こし・固有表現・感情を共同学習するUniSLU
- 文字起こしの後に課題指定符号と答えを置く共通形式で、固有表現と感情を共同学習する。
- Whisper-medium版のテストでは、GenSLUより固有表現のMicro-F1とSLUE SCOREが高く、両データセットのWERも高かった。
- 英語の業務音声への適用には対象音声と各課題の正解ラベルを用意し、個別指標を測る必要がある。
子ども音声コーパスの作り方――目的に合わせた収録、品質確認、注釈の指針
- 研究目的から対象年齢、発話形式、収録場所、注釈までを設計するための指針を示す。
- 複数話者の会話を含め、収録後の品質確認と、話者・内容・時刻の注釈、個人を特定できる発話の除外を扱う。
- 既存コーパス15件を整理しているが、指針によるモデル性能の改善実験は報告していない。
映像に埋めた原音声を復元し、発話の改変区間を探す
- 公開前に原音声の情報を映像へ埋め、改変後の映像から原音声の復元を試みる。
- 復元音声と検証対象の音声を発話内容に関わる特徴で比較し、改変区間を推定する。
- HDTFを用いた著者らの実験では、原音声復元のSNRは17.82、PESQは3.18だった。
笑い声や咳の位置まで記した英語音声データで表現豊かな読み上げを学ぶ
- 約17時間の英語音声に、10種類の非言語音声と8種類の感情分類を付けた。
- 自動検出後に人が修正し、複数人の注釈を多数決で統合して文字と音声を対応させる。
- 追加学習モデルとCosyVoice2の人手による選好には、著者らによれば統計的に有意な差がなかった。
眼底画像と患者情報で５つの眼疾患を調べるモバイル向けInSight
- 画像品質判定、５疾患の予測、糖尿病網膜症の重症度判定を３段階で行う。
- 著者らは、画像のみのモデルと比べたbalanced accuracyの差をBRSETで６％、mBRSETで４％と報告した。
- 確認できた本文の範囲では疾患別の成績やデータ分割が不明であり、導入先の画像と患者情報で検証が必要である。
薄い板の振動をAIで長く予測できるか――打楽器の音響合成に向けたモデル比較
- 薄い弾性板の振動について、短い区間を学習した複数のモデルを長い列の繰り返し予測で比較した。
- 49ステップの相対MSEはLRUが0.0006、FNOが0.0030だったが、著者らは長い予測では全モデルに再現上の問題があると報告した。
- 音響合成への適否を考えるには、振動値の誤差に加え、時間方向と空間方向の周波数成分も確認する必要がある。
感情を変えても狙った語を強調する音声合成「EME-TTS」
- EME-TTSは感情と強調位置を条件に、強調語の音の高さ・長さを調整して音声を生成する。
- 英語版ESDの聴取評価では、強調語の平均正答率はEPEなしの0.73からEME-TTSの0.78になった。
- 感情認識器による平均正答率はEME-TTSが0.73、EmoSpeechが0.72、EPEなしが0.74だった。
SIEVE：検索条件に応じて複数の索引を使い分ける絞り込み付きベクトル検索
- SIEVEは過去の検索条件と頻度を使い、メモリ予算内で複数のHNSW部分索引を選んで構築する。
- 検索時には目標再現率に応じて索引と探索量を選び、該当項目の全件比較とも推定時間を比べる。
- 著者らは検索速度で最大8.06倍を報告するが、確認できた本文の範囲では、その値に対応する詳細な測定条件は確認できない。
候補操作を拡散モデルで作り、評価して選ぶ水中ロボット制御
- 現在の観測と過去の状態・操作から候補航路を生成し、強化学習の評価器で次の操作を選ぶ。
- 著者らの水中データ収集シミュレーションでは、標準的な強化学習より早く、約300エピソードで学習が安定したと報告された。
- 実海域での検証は今後の課題であり、操作候補数には手法の説明と設定表で食い違いがある。
複数の合図がLLMの分類を曲げる条件と、層を絞った修復法
- 著者らの分類実験では、複数の合図を同時に学習させても、各合図の攻撃成功率は単独学習時と近い水準だった。
- 埋め込みが近い合図を複数学習したLLaMA 3.2-3Bでは、二語の間に20トークンを挟んだ条件でもASRは86.43％だった。
- 表6では、全MLP層を汚染のないデータで再学習すると、平均ASRは90.29％から26.81％に下がった。
レーザーの出力差と距離減衰を組み込むLiDAR再シミュレーション
- LiDARの投射方向、回転走査、レーザー出力差、距離と入射角による強度変化をモデル化する。
- KITTI-360で著者らが報告した反射強度RMSEは、LiDAR4D++の0.0939から最終構成の0.0868へ下がった。
- 別視点の点群生成は示されているが、検知器への効果は別途評価が必要である。