音声・映像への注意を見て誤回答を抑えるAVCD：回答生成時の予測を比較
- AVCDは音声・映像・質問文への注意を調べ、優勢でない入力を隠した予測と元の予測を比較する。
- 表1のAVHBench正答率は、VideoLLaMA2で78.05％から81.95％、video-SALMONNで60.00％から66.83％になった。
- 確信度が高い語では追加計算を省く設計。実務利用には現場データでの正答と回答時間の確認が必要である。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
画像とイベント列をスパイク型ネットワークで融合する物体追跡
- SpikeFETは画像とイベント列を別々に特徴抽出して融合し、スパイク型ネットワークで対象位置を推定する。
- 著者らのFE108評価では、TinyのAUCは68.5%で、SDSTrackの65.8%を上回った。
- VisEventではTinyのAUCがSDSTrackを下回る。報告された電力値は実機測定値ではなく理論値である。
拡散モデルによる画像復元で、段階ごとの最適化がメモリ使用量を抑える
- DMILOは拡散モデルの中間状態を段階ごとに最適化し、一度に保持する勾配情報を一段階分に抑える。
- DMILO-PGDは観測誤差を減らす更新と射影を交互に行い、射影でも順方向モデルを使って照合する。
- 著者らのLSUN Bedroom超解像実験では、3段階のメモリ使用量はDMPlugの20.83 GBに対し、DMILOが10.53 GB、DMILO-PGDが10.54 GBだった。
新商品を候補に入れるため、商品情報から関係をたどる推薦手法ColdRAG
- ColdRAGは商品情報から紹介文と知識グラフを作り、利用履歴を起点に新商品を含む推薦候補を探す。
- 著者らは公開ベンチマーク3件でゼロショットの比較方式をRecallとNDCGで上回ったと報告するが、確認できた本文の範囲では個別の数値を確認できない。
- 導入時には、生成した紹介文と関係の正確さ、新商品の反映時間、事前に候補を絞る方式との差を測る。
画像ごとに使うスロット数を調整するMetaSlotの仕組みと評価
- MetaSlotは共有コードブックで仮スロットの重複を除き、画像ごとに使うスロット数を調整する。
- 著者らのCOCOでのDINOSAUR系比較では、FG-ARIが35.0±1.2から40.3±0.5になった。
- 著者らのHQ-YTVISでのVideoSAUR系比較ではFG-ARIが上がる一方、mIoUは下がった。
「温かい音に」をEQの設定値へ変えるLLM2Fx
- 自然文からEQまたはリバーブの設定値をJSON形式で生成し、効果ごとの追加学習を要しない。
- SocialFX-EvalでのEQ評価では、GPT-4oの追加例なしの平均MMDは0.22で、Chuらの最適化法の0.55より低かった。
- 著者らの評価は単一の効果と単一トラックを対象とし、原音は楽器の種類ごとに一つだった。
文同士の関係をたどり、長文から回答の根拠を探すDISRetrieval
- 文や段落の談話関係から木を作り、質問に合う元の文を根拠として選ぶ。
- QASPERとQuALITYの一部条件では、同じ検索文量の文単位検索より回答指標が高かった。
- 一部条件ではBisectionが上回る。評価データセット数についても冒頭の要約と本文に食い違いがある。
長い動画の位置情報を調整するHoPE：空間の符号化と時間尺度の選択
- HoPEは画像内の横・縦位置に高い回転周波数を使い、時間用の低い周波数をゼロにする。
- 学習時には動画ごとに時間位置の尺度を変え、推論時にも候補から選べる。
- 著者らの表では、7Bモデル・32k入力の三つの動画理解ベンチマークで、HoPEの値が通常のRoPEを上回った。
SEC提出書類から比較に必要な根拠を集めるHiREC
- HiRECは関連文書を先に選び、根拠箇所を選別し、不足分を補足質問で再検索する。
- 著者らはSEC書類145,897件、質問・回答1,595組のLOFinを構築した。
- LOFin-1.4kの主実験で、平均回答正解率はHiRECが42.36％、Denseが29.22％だった。
41分野・20感情の対話に音声を付けた「DeepDialogue」
- 41分野・20感情を設定した40,150件の複数ターン対話に、2方式の合成音声を付けた。
- 著者らの人手評価対象では、異なるモデル同士の対話の採択率は0.65、同じモデル同士では0.54だった。
- 旅行案内などへの応用には、業務の対話文・音声・発話単位の感情ラベルを集め、実音声と長い会話で検証する必要がある。
複数マイクの音声をメル尺度で強調するMel-McNet――CHiME-3で認識精度を保ち計算量を削減
- 音量と位相を別々にメル尺度へ圧縮し、改変したMcNetで強調後の対数メルスペクトルを作る。
- 模擬CHiME-3の評価で、著者らはMcNet比で計算量約60％減、単語誤り率は同じ4.4％と報告した。
- 波形に戻した音のWB-PESQとSTOIはMcNetより低く、導入先では認識精度と音声品質の両方を確認する必要がある。
医療文書と類似患者の記録を検索し、回答を見直すDoctorRAG
- DoctorRAGは、医療文書と類似患者の記録を別々に検索し、両方を回答の材料に使う。
- Med-TextGradは回答の根拠との整合性と患者への適合性を批評し、指示文を更新して回答を再生成する。
- 著者らの英語DDXPlus診断評価では、GLM-4-Plus使用時の正解率はDoctorRAGが98.27％、Graph RAGが85.50％だった。