動画の判断は新情報で変わるか：DVidEの分類と追加情報の生成
- DVidEは、動画を前提に、追加文が文章の仮説を強めるか弱めるかの分類と、目標に沿う追加文の生成を扱う。
- 分類手法は強弱両方の理由、映像説明、発話の文字起こしを組み合わせる。テスト集合は986件で、二つのラベルが各493件。
- 著者らの分類表ではVideo-ChatGPTの正解率が61.05％から77.79％になった。生成のC1はGPT-4oによる分類結果であり、別分野への適用には検証が要る。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
災害後のSAR画像に建物情報を加え、損傷建物を見つける
- 災害後の高解像度SAR画像に、建物輪郭、事前のDSM、GEMの地域属性を組み合わせ、建物ごとの損傷の有無を判定する。
- 2023年のトルコ地震で被災した5都市を対象にし、都市をまたぐ適用を検討している。
- 著者らは地理空間情報による性能向上を報告するが、確認できた本文の範囲では評価指標と改善幅の数値は分からない。
話し方と雑音を含む音声対話AIの評価基準
- 一般質問1,000件と、間や強勢など音声特有の現象を扱う100件で、音声入力と音声回答を評価する。
- 著者らの実験では、回答内容の総合平均は1～10点の採点でGPT-4o-Audioが6.29、Qwen-2.5-omniが6.01だった。
- 実務への適用には、対象業務の録音と望ましい回答を用意し、自動採点を人手評価と照合する必要がある。
同じCypherを英語・スペイン語・トルコ語の質問から生成できるか
- 英語の質問をスペイン語とトルコ語へ翻訳し、同じ正解Cypherを使う多言語テスト集合を作成した。
- 著者らの評価では、対象の3モデルはいずれも英語、スペイン語、トルコ語の順に成績が下がった。
- 指示文の翻訳でROUGE-Lは約1～1.5％改善したが、実行結果を比べるExact-Matchはほぼ変わらなかった。
解答を批評してから解き直すLLM：Double-Checkerの学習と評価
- 著者らは、直接解く例と批評して解き直す例を合わせた計1,730件で、長い推論を行うモデルを追加学習した。
- 推論時は前回の解答要約を批評し、正しいと自己判断するか、設定した反復上限に達するまで解き直す。
- 著者らの表1では、7BモデルのAIME24は基盤モデル56.7％に対し66.4％、GPQAは20.7％に対し44.4％だった。
生成済みの音を手がかりに、映像の効果音を一つずつ作る
- 映像と音の指定文から、効果音を個別トラックとして順に生成する。
- 生成済み音声を負の条件に使い、次のトラックに既出音が重なることを抑える。
- 著者らの評価では、MMAudio-S-16kの独立生成より合成音のFDPANNsとKLPaSSTが低く、ISは低下した。
割り込みや沈黙も学習対象に――実際の音声対話から応答内容と発話時機を改善
- 実際の複数往復の音声対話から、応答内容と発話時機について望ましい・望ましくない応答の対を作る。
- 最終的な学習には9万3490組の選好対を使い、全二重の音声対話モデルMoshiを調整した。
- 著者らの評価では、基準モデルに対し質問応答の平均値が36.1から39.2、安全性の平均値が70.9から77.8になった。
浅い層から深い層の特徴を予測し、敵対的な入力を検出する
- 浅い複数の層から深い層の特徴を予測し、実際の特徴との誤差を敵対的な入力の検出スコアにする。
- 予測モデルは攻撃例を使わず、正常な入力だけで学習する。
- 著者らのImageNet・ResNet50・PGDの評価では、検出AUROCはLayer Regressionが0.98、JPEG圧縮を転用した方法が0.77だった。
利用者の好みをAPI呼び出しに反映するTAPS：必要な場合だけ指示文をタグ付け
- TAPSは依頼文と利用者の好みからAPI呼び出し案を作り、不確実性に応じて好みの文章のタグ付けと再生成を行う。
- 著者らのNLSI解釈課題では、Llama-3-Instの完全一致率はタグなしの41.76％からTAPSの51.18％になった。
- 評価では関連する好みの指示が正しく与えられている。実運用での好みの選択とAPI実行前の確認は別途検証が必要である。
購入履歴から次の商品IDを直接予測する推薦手法CoVE
- 商品ごとの固有IDを語彙に加え、利用履歴から次の商品IDを直接予測する。
- 複数のハッシュ関数と共有表で、追加した商品IDの埋め込み表を圧縮する。
- Amazonの評価では比較対象を上回る指標が報告されたが、16倍圧縮時のToys & GamesのHR@10は例外だった。
公開攻撃実装から通信の特徴量を設計する侵入検知手法KnowML
- KnowMLは公開攻撃実装から戦略を抽出し、知識グラフを使って侵入検知用の特徴量を設計する。
- 著者らは28件の攻撃変種を評価し、既存モデルでは一部変種のF1スコアが0%だったと報告する。
- 導入判断には、自組織の通信で攻撃種別ごとの検知率、正常通信の誤警報率、判定時間を測る必要がある。
街路の道案内AIに、位置と目印で探せる長期・短期の記憶を加える
- 八分木で細かな位置、グラフで目印間のつながりを管理し、短期・長期の記憶から行動判断に使う観測を取り出す。
- Touchdownのテスト分割で、著者らのモジュール型基盤のTCは29.27％から42.21％、FLAMEは40.20％から48.48％になった。
- 現地適用には位置付き画像と指示文・正解経路の対応データが必要で、位置ずれや検索時間は別途検証する。