← 最新の短信掲載済みの論文解説から、研究の要点を短く紹介します。
論文短信
AudioGenerative AI
- Whisper Tinyのエンコーダーで返答音声から特徴を取り出し、RAD-NeRFまたはER-NeRFで口の動く人物映像を生成する。
- 著者らは３本の映像を用いて比較した。RAD-NeRFの同一人物テストでは、平均SyncconfがDeep-Speechの6.407、Whisperの6.966だった。
- 著者らは長めの音声で特徴抽出時間が80～90％短いと報告する一方、評価指標すべてが改善したわけではなく、導入先では対話全体の待ち時間を測る必要がある。
論文短信
Audio
- SONNETは、模擬録音と正解の到達時間差で学習し、２本のマイク録音から時間差を推定する。
- 著者らは実録音tdoa_20201016でGCC-PHATを上回る時間差推定を報告した。自己校正のchirp_0001ではマイク位置誤差が0.05 m対0.80 mだった。
- 導入時には対象の部屋で正解付き録音とマイクの実測位置を用意し、時間差の精度、配置誤差、処理時間を比較する。
論文短信
LLMRAG
- 四つの書き換え戦略で情報量の異なる検索文を作り、元の質問も検索に使う。
- 表1では、GPT-4で書き換えたAmbigNQのP@5がDMQR-RAGで62.43、RAG-Fusionで53.62だった。
- FreshQAで質問ごとに戦略を選ぶと、平均書き換え数はLlama3-8Bで2.482回、GPT-4で2.455回だった。
論文短信
AudioComputer Vision
- 顔と音声を使うLight-ASDに、対象人物の関節位置から得る姿勢情報を追加する。
- WASDで報告された全体mAPは94.3％で、Light-ASDの93.7％を0.6ポイント上回る。
- パラメータ数は27.3％増え、積和演算回数の増加は最大2.4％と著者らは報告する。
論文短信
VLM
- 動画の文字・画像・音声から作る内容表現を、サービスごとの利用者行動に合わせて調整する。
- 調整した表現をVQ・RQのコードIDに変え、推薦モデル内で番号に対応する数値を学習する。
- 著者らは快手の広告・買い物サービスでオフライン評価とオンラインA/Bテストを行い、対象シナリオでの改善を報告した。
論文短信
Audio
- ESTVocoderはF0から倍音を含む励振を作り、その振幅・位相スペクトルをメルスペクトログラムに応じて音声用に変換する。
- LJSpeechの再合成実験で、著者らが報告したPESQは3.70、CPU上のRTFは0.0112だった。
- 文章からの音声合成ではMOSが3.87で、HiFi-GANやVocosとの自然さの差は有意ではなかった。
論文短信
Generative AI
- D3Recは利用履歴にノイズを加えて復元を学び、目標のカテゴリ配分を条件に作品への反応を予測する。
- 学習時は履歴から計算した配分を使い、推薦時には別の配分を指定して多様性や重視するカテゴリを調整する。
- 著者らは計3件の実世界・合成データセットでの検証を報告するが、確認できた本文の範囲に評価指標や測定値はない。
論文短信
AI Agent
- 検索クリックには検索時の目的に関わる特徴と、検索語に依存しない商品特徴が混在し得る。
- ClardRecは特徴を取り除いた際の検索語・利用者との適合度の変化を使い、商品表現を分けて推薦に利用する。
- 著者らは協調フィルタリングと逐次推薦で有効性を報告するが、確認できた本文の範囲では性能指標と改善幅の数値はない。
論文短信
AI Agent
- 利用者・商品・操作時刻の履歴から、指定時刻における商品の推薦順位を予測する。
- DeBaTeR-Aは履歴のつながりを、DeBaTeR-Lは学習時の損失を、時刻を考慮して重み付けする。
- 著者らは四つの実世界データセットと雑音追加実験で有効性を報告するが、確認できた本文の範囲では指標や結果の数値を確認できない。
論文短信
LLMRAG
- 論文本文を検索して五つのLLMに方法の記載を答えさせ、記載の有無を多数決で決める。
- 生物多様性研究の論文464本を対象とし、人手注釈との比較600件で417件、69.5％が一致した。
- 自動処理は本文テキスト、人手注釈はコードや図表も参照しており、一致率の解釈には入力差がある。
論文短信
Generative AIComputer Vision
- 著者らは、画像ベース、高速、任意の作風を扱う三種類のNSTを再実装した。
- ResNetで活性化の平滑化を検討し、作風変換結果の品質向上を報告した。
- 確認できた本文にはデータセット、評価指標、数値結果がなく、改善幅や適用条件は判断できない。
論文短信
Computer Vision
- 未編集動画と検索文から、該当する場面の開始・終了時刻を推定する。
- 時間方向の一次元畳み込みと、映像・文章の特徴の要素ごとの積を使う。
- 著者の表では、R@0.5はCharades-STAで66.48、ActivityNet Captionsで49.35だった。
