最初の発話と音声認識候補を使い、続く発話が音声アシスタント宛てか判定する
- 最初の発話の認識結果と、続く発話の複数の音声認識候補を組み合わせて宛先を判定する。
- 著者らの英語データでは、FRRを10％に固定したとき、初回発話を加えることで全体学習型分類器のFARが8.3％から4.8％になった。
- 実用化の検証には、対象環境の発話ペアと宛先ラベルを用意し、同じ見逃し率で誤反応を比較する必要がある。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
MIDIの音符とトークンを対応表示する可視化ツール
- MidiTokの六つのMIDIトークン化方式について、設定を変えながら変換結果を閲覧できる。
- トークン列とピアノロール上の音符を双方向に対応付けて確認できる。
- 確認できた本文には定量評価がなく、作業効率や方式選択への効果は利用現場で検証が必要である。
音声を対象モデルへ渡さず学習データへの参加を推定するUSMID
- 話者の実音声を対象CLAPに送らず、テキスト記述から学習参加を推定する。
- 無意味な文字列の特徴を学習外の基準とし、複数の異常検知器の投票で判定する。
- LibriSpeechの50音声条件で、テキストのみの正解率は93.07％と著者らは報告した。
霧の道路画像を除霧して車両を検出するYOLO-Vehicle-Pro
- YOLO-Vehicleは道路画像と交通関連の文章から得た特徴を合わせ、対象の種類と位置を検出する。
- YOLO-Vehicle-Proは画像特徴の抽出前に除霧部を加え、霧で見えにくい道路画像を対象とする。
- 著者らはFoggy CityscapesでmAP@50を82.3％、43 FPSと報告するが、確認できた本文からは比較手法との差や検出用正解データの詳細を判断できない。
診療イベントの前後関係を索引化し、研究対象の患者を探すTELII
- TELIIは診療イベントの前後・同日関係を事前に索引化し、条件に合う患者一覧を検索する。
- 著者らの診断のみの比較では、前後関係を問う6件でELII-DIAGより平均約2000倍速かった。
- 高速な検索と引き換えに索引の容量と作成時間が必要で、全データ版は210億文書、21TBを使用した。
実際の入力途中を記録したAmazonQAC：検索候補は履歴でどこまで改善するか
- 実際に打たれた途中入力、最終検索語、セッションID、時刻を含む約3億9555万件のデータセット。
- 後の期間から取った試験2万件で、文脈を使う追加学習済みモデルのSuccess@10は37.0％だった。
- 米国の買い物検索に由来するため、別の検索サービスでは入力行動と性能を検証する必要がある。
行動履歴が少ない利用者の関心推定を集団の傾向で補うGPSVI
- GPSVIは、履歴から推定した個人の関心を、属性群と候補から求めた集団の関心で、不確実性に応じて補正する。
- 著者らの産業データでは、履歴が少ない群のAUCはTransの0.7907に対しGPSVIが0.7974だった。
- 著者らは2か月のオンラインA/Bテストで、Trans比のCTR増加を全体で0.306％、履歴が少ない群で0.659％と報告した。
布センサーで声の生成を操る――身体の動きから音声AIを探る公演
- 出演者の声で学習したRAVEを、衣服の布製センサーや舞台上のプログラミングと結び付けて人工音声を操作した。
- 2023年の4時間の公演では、出演者が動きを繰り返し、声の変化との関係を探ったと著者らは報告する。
- 確認できた本文には、説明可能性の向上を測る指標や対照実験の結果は示されていない。
低SNR音声の強調に、事前学習モデルの中間特徴を使うDisCoGAN
- DisCoGANは、事前学習した判別型DCCRNの中間特徴で生成型の音声強調モデルを条件付けする。
- 著者らの−20～−16 dB評価群では、PESQ改善量がDisCoGANで0.42、条件付けを外したNoCoGANで0.41だった。
- 著者らは−10 dB未満で存在しない内容を生成し、単語誤り率が増える場合を報告している。
利用者とセッションに応じて推薦手法を選ぶメタハイブリッド推薦
- 利用者とセッションの文脈情報・好みの情報から、その場で使う推薦手法を機械学習で予測する。
- 著者らはMovieLensとThe Movie DBによるオフライン評価で、個別手法に対する理論上の性能改善を20〜50％と報告した。
- 著者らは、一般的に保存される利用者情報だけで理論上の最適な性能を得るのは難しいと述べている。
診療記録の疾病分類を細分化するMixEHR-Nest：既存コードを手がかりに患者群の違いを探す
- 既存の疾病分類を手がかりに、各分類の内部にある複数の記録パターンを推定する。
- MIMIC-IIIとPopHRで評価し、著者らは死亡とインスリン使用の予測改善を報告している。
- 施設で使うには記録漏れ、情報漏れ、下位群の再現性と臨床的な意味を確認する必要がある。
映像の内容の変化と動きに合わせて音楽を生成するMuVi
- MuViは、各時刻の映像特徴を圧縮して音楽生成器に渡し、動画と同じ長さの伴奏を作る。
- 音楽の時刻をずらす例や一部を置き換える例を使い、映像と拍の同期を学習する。
- 著者らは音質と時間同期で優れた結果を報告するが、確認できた本文には結果表がなく、改善幅は確認できない。