長文調査レポートの自動評価を比較、指示遵守と読みやすさに残る難しさ
- AEOLLM-2はLLMの長文調査レポートを評価する方式を、人の評点との一致で比較する。
- 10チームから91実行を集め、網羅性・洞察・指示遵守・読みやすさを評価した。
- 指示遵守の最高正解率は0.6350で、網羅性の0.7533より低かった。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
正解の旋律なしで歌の音程を修正、直す音と残す音を文脈から選ぶ
- 入力した歌のMIDIだけから音程修正の必要性と変更幅を予測する。
- 推定した調に合う候補を優先し、正解旋律や伴奏、正解の調の注釈を推論時に必要としない。
- 実録音の評価で音符単位の正解率が73.25%から83.43%へ向上したが、正しかった音への変更も3.19%生じた。
会話に合う音声表現の指示を、説明文の似具合ではなく合成器の反応から学習
- SRSPは会話履歴と応答文から話し方の指示を作り、固定した音声合成器を通して学習する。
- 正解音声のトークン尤度を報酬に使い、音声の説明が上手でも合成制御が上手とは限らない問題を扱う。
- 英語の会話音声で、未学習の言語モデルと正解音声を見られる説明生成方式より表現の一致を改善した。
参照音声の声色を編集し、区間ごとの話し方も切り替えるEDICT
- 声色を編集した参照音声を全区間で共有し、同じ話者のまま表現を変更する。
- 区間境界でKVキャッシュを再構築し、前の指示の持ち越しと音声の不連続を両立して抑える。
- 中国語・英語の声色編集1,955組と区間制御997件で評価した。
偽画像判定の根拠を局所特徴で学習、専門説明と平易な説明を分けて生成
- 複数の視覚モデルによる真偽判定に、説明文から作る局所的な疑似マスクを学習信号として加える。
- 判定後にクラス別Qwen3-VLで説明を作り、別モデルで平易化するモジュール構成である。
- XPlainVerseの最終試験で判定精度0.9349、説明スコア0.5571を得たが、説明の有用性と計算費用は課題として残る。
指定時間に働けるかを測るAgentTime、時間一致と作業継続は別の能力
- AgentTimeは指定時間への追従、開始前の時間予測、終了後の経過時間推定を分けて評価する。
- 十八系統、二百二十二課題で時間制御はモデルにより異なり、予測は実際より長めになる傾向があった。
- 時間が一致しても作業を続けたとは限らず、終了後の待機を行動履歴で調べる必要がある。
成功したロボット動作の多様性を報酬に、DRIVEが未知条件への汎化を改善
- DRIVEは同じ作業条件で成功した軌跡だけの多様性を強化学習の目標へ加える。
- 時間のずれを整列して、速度だけの違いや多様な失敗へ報酬を与えにくくする。
- 三つのシミュレーション系と双腕実機で、通常の強化学習調整より未知条件の成功率を改善した。
VLMのバックドアを重みの方向で除去、少数の正常例から参照を構築
- OrthoPurifyはバックドアが乗っ取った重み更新の方向を特定し、直交射影で除去する。
- 正常モデル全体の代わりに、事前学習重みを少数の正常例で短く調整した参照を使う。
- 評価条件で攻撃成功率をほぼゼロへ下げたが、別要因で失われた通常性能まで修復する方法ではない。
ロボットの未来表現を行動へ接続、Junoは世界モデルを先に適応して制御を改善
- Junoは行動条件付きJEPAを、知覚表現、未来予測の教師、適応可能な世界モデルとして使う。
- SimplerEnvの平均成功率を60.9%から68.5%へ改善し、配備データでの適応後は72.7%へ上昇した。
- 実機の背景・高さ・物体変更で70〜75%を維持した結果と、配備後の適応実験を分けて読む必要がある。
空調故障の候補順位付けは物理特徴が鍵、運転文脈を要する診断には限界
- 選択肢ごとの確率を返す決定モデルを、空調設備の故障診断で評価する。
- 物理特徴に表れる故障は診断できたが、運転文脈が必要な故障や検出そのものは弱かった。
- 季節や建物変更への頑健性は示す一方、確率の補正と運転員の確認が必要な結果である。
アラビア語Whisper適応は課題別に効く工夫が異なる、方言特化と重み平均を検証
- 三つの音声認識課題を共通のWhisperとLoRAで構成し、課題ごとに追加策を検証する。
- 方言ラベル付きでは特化モデル、混合方言では基盤モデル選択、混在言語では独立学習の重み平均が効いた。
- チュニジア混在言語課題は単語誤り率14.49%で二位だが、開発集合と乱数条件の制約がある。
生成モデルの予測誤差は人の「自然さ」と対応、顔配置と照明で検証
- 二十五の画像・動画生成器で、対応する画像組の予測誤差の差と人の自然さ評価を比較する。
- 顔では最大相関0.84、物理場面では0.64で、人の選択的な違和感と対応する信号を確認した。
- 違反への反応の強さと人への一致は異なり、一般的な画像品質判定を保証するものではない。