参照音声の有声区間を重視して話し方を反映する音声合成「SpotlightTTS」
- 参照音声の有声区間を重視し、音声の異なる区間の連続性を保ちながら話し方を抽出する。
- 抽出したスタイルの方向を調整し、文章を読み上げるTTSモデルに組み込む。
- 著者らは表現力、全体的な音質、スタイル転写能力でベースライン群を上回ったと報告するが、評価の数値や条件は確認できない。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
選択肢の順番で変わるLLMの回答を測り、集約・調整する方法
- PBMは、選択肢の順番による内容別の回答確率の揺れを、正解ラベルなしで測る。
- BaQCKVは共通する質問文の計算を再利用し、複数の並びの回答を集約する。
- 著者らはLoRA-1でPBMが平均58%減ったと報告するが、正答率は別に確認する必要がある。
ハンガリー語の自然発話255時間を整備し、会話認識と話者判定の基準を示す
- BEA-LargeはBEA-Baseを拡張した計255時間・433話者の音声データで、発話単位の情報を備える。
- BEA-Dialogueは約85時間の会話を含み、実験進行役と会話相手も含めて話者が評価区分をまたがないよう分割した。
- 著者らの基準結果では、BEA-Largeの自然発話評価用集合におけるFast Conformerの単語誤り率は14.18％だった。
誘導炉の溶解周期を操業状態で分け、エネルギー効率に関わる変数を探る
- デンマークの鋳造工場の誘導炉データを溶解周期の操業状態ごとに分け、各群で因果関係を探索した。
- 著者らは、エネルギー消費・炉温・材料重量の関係と、電圧が冷却水温に遅れて影響する関係を報告した。
- 効率によって関係の構造が異なると報告されたが、データ件数や省エネ効果の数値は確認できない。
商品文と画像を組み合わせ、大量の候補から関連商品を探すViXML
- ViXMLは商品文と画像を数値列に変え、大量の候補から関連商品を探す。
- 画像モデルを固定し、画像１枚を１個の表現として文章の表現に加える。
- 著者らのLF-AmazonTitles-1.3M実験では、DistilBERTのP@1が文章のみの58.49から画像付きの64.17になった。
SAM2の特徴で細部の抽出を導き、電子顕微鏡画像の神経細胞を分割するFGNet
- FGNetはSAM2の特徴で別の細部抽出網を導き、立体電子顕微鏡画像から神経細胞を分割する。
- 著者らのAC3/AC4試験では、FGNetのVOIは0.797、SAM2を固定したFGNetは0.910だった。
- 導入時は対象組織の画像と分割ラベルを用意し、分割誤差と人手による修正量を併せて測る必要がある。
人気商品への推薦集中と利用者間の精度差を、表現分布の学習から抑えるAURL
- AURLは、接点履歴の偏りに伴う人気商品への推薦集中と、利用者群ごとの推薦精度差を扱う。
- 人気群と履歴の少ない群の表現分布を近づけ、表現全体の集中を抑える二つの制約を学習に加える。
- 著者らは実データ３件で改善を報告するが、確認できた本文の範囲では指標値やデータ分割条件を確認できない。
画像・音声の生成判定と内容説明を一画面で確認するSynthGuard
- 画像と音声の生成検出器を一つの環境で使い、真偽ラベルと百分率の確信度を表示する。
- 結果画面の説明では、MLLMは媒体の内容を文章化し、真偽ラベルは出さない。ただし音声経路の説明には記述の不一致がある。
- 画像検出器は顔中心のデータで学習され、現行版に動画検出器はない。確認できた本文に検出精度の数値はない。
音声と映像の対応を考慮してKVキャッシュを減らすAccKV
- AccKVは、層ごとに音声と映像への注意を調べ、残すKVキャッシュの候補を選ぶ。
- 削減候補を音声内・映像内で別々にまとめ、媒体間の類似度で低優先度側の削除を判断する。
- 著者らのVideoLLaMA2によるAVSD評価では、全保持のROUGE値0.479462に対し、キャッシュ予算20%・しきい値0.9のAccKVは0.425179だった。
営業通話の文字と音声を会話の流れに沿って統合し、購買意向を分類するMSMT-FN
- 一往復ごとに分けた営業通話について、文字を中心に音声と前後の会話を統合し、購買意向を分類する。
- MarketCallsの表ではMMMLより三・四・五分類の正解率が高く、二分類では低かった。
- 実務での利用には、対象業務の録音・文字起こし・購買意向ラベルを用いた検証が必要である。
芸術分野でAIの説明をどう考えるか：第3回XAIxArtsワークショップ会議録
- XAIxArtsは、芸術分野における説明可能なAIの役割を探る第3回国際ワークショップの会議録である。
- HCI、対話設計、AI、XAI、デジタル芸術の研究者が集まり、第17回ACM Creativity and Cognition会議でオンライン開催された。
- 確認できた本文には個別手法や実験結果がなく、実務での効果は判断できない。
多言語のオンライン会議で、英語の訳音声を空間的に聞かせると理解は変わるか
- 著者らは、二言語を話す協力者８人と参加者47人を含む模擬会議で、四つの音声提示条件を調べた。
- 著者らは、空間的に提示した英語訳では、非空間的な提示と比べて内容理解が２倍になったと報告した。
- 確認できた本文の範囲では、訳音声の生成方法、条件別の詳しい数値、実運用での効果は分からない。