追加学習で危険な応答の学習を抑える、トークン単位の選別法TOSS
- TOSSは有害側と有用側の参照モデルの損失差で回答トークンを採点し、得点上位を追加学習の損失から除く。
- 著者らの予備実験では、回答冒頭の5トークンを一律に除くとHEx-PHIでの安全性は改善し、SLIMORCAでの有用性は低下した。
- 主な評価にはREDORCA、SLIMORCA、HEx-PHI、Anthropic HHを用いる。確認できた本文の範囲では、主要比較の指標値は確認できない。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
設問と採点をサーバーに置くLLM評価手順「DEP」
- DEPは、ベンチマークごとの設問と採点処理をサーバーに置き、共通の手順でLLMを評価する。
- 著者らの調査では、1件当たりの平均準備時間は初回のDEP対応で69分、作成済み対応の再利用で3分だった。
- 対応サーバーの整備が必要で、複雑な外部操作を伴うエージェント評価には現時点で対応していない。
会話記憶を階層と意味で探すSemantic XPath：旅程の該当日を選んで更新
- 会話記憶を旅程→版→日→活動のような木で保持し、位置と文章の関連度から更新対象を選ぶ。
- 著者らは三領域の評価で、平坦なRAG比の性能向上と履歴全投入方式より少ないトークン使用を報告した。
- 実務適用には、自社の修正履歴に正解ラベルを付け、対象選択、更新結果、トークン数を比較する必要がある。
動画を多言語の文章空間に写すV-SONAR：検索・説明文生成の結果と課題
- V-SONARは画像・動画の埋め込みを、多言語の文章を扱うSONARの意味空間へ対応づける。
- 著者らのPE-Video検索評価ではRecall@1が73.03。Dream-1k検索とVATEX英語説明では、比較対象を下回る結果もある。
- V-LCMは映像と文章の埋め込みを一列に扱い、次の埋め込みを予測する。
小説の登場人物に合う声を考えるための8属性データセットと評価法
- S-VoCALは192作品から得た登場人物・作品の組952件について、声に関係する8属性を扱う。
- 人物名周辺の本文を属性別に検索し、言語モデルで値を推定する手順を評価した。
- 著者らは年齢・性別では良好な結果を報告する一方、出身地や身体の健康状態の推定には課題があると述べる。
論文の説明図を文脈ごと探すDiagramBank：件数の食い違いも確認
- 図画像を論文の題名・要旨、図の説明文、本文の参照段落に結び付けて検索する。
- 本文の表では説明図89,422件、確信度0.85超は59,765件。要旨の57,100件とは対象や条件を照合する必要がある。
- 生成への利用はCode2MCPの事例比較で示され、幅広い課題での生成品質の数値評価は確認できない。
画像の見誤りを推論への報酬に反映する視覚言語モデルの学習法
- PaLMRは候補推論を参照例と比較し、候補が選ばれなければ最終回答が正しくても報酬をゼロにする。
- Qwen2.5-VL-7Bを4,728件で学習した表1では、HallusionBenchの正答率が通常のGRPOの66.7に対して70.9だったが、MathVistaでは74.1に対して73.8だった。
- 著者らはQwen3-VL-8Bで効果が弱まる例を報告しており、参照例と比較判定の質が適用時の確認点になる。
音声認識の長い特徴列を共有状態で処理するPolynomial Mixer
- PoMは音声特徴から多項式の共有状態を作り、各時点が成分を選ぶ方式で、入力長に対する計算量とメモリー使用量は線形とされる。
- 著者らの約9500万パラメータの実験では、言語モデルなしのLibriSpeech test-clean単語誤り率はPoMが8.31%、通常の多頭自己注意が8.59%だった。
- 80秒入力時のメモリー使用量はRelPosMHAの2.8分の1と報告された。会議音声への適用には別途評価が必要だ。
調査を続けるAIが、次の一手に必要な記憶を自分で残す方法
- MemPOは各段階の情報をモデル自身が要約し、直前の記憶を次の入力に使う。
- 学習時は最終回答の評価に加え、各記憶が正解を出す確率に与える影響を評価する。
- 著者らのローカルWiki検索評価では、全目的平均F1が37.63だった。
LoRA専門家を小さな行列に集約するCoMoL：トークン単位の切り替えと評価結果
- CoMoLは共有の変換行列と専門家固有の小さなコア行列を使い、トークンごとに専門家を重み付けして統合する。
- 著者らのQwen3-8B数学評価では、六データセットの平均正解率がCoMoL 84.48±1.40%、通常のLoRA 82.78±0.47%だった。
- 社内コード生成への応用には、仕様と期待動作のデータを用意し、通常のLoRAと同条件でテスト通過率や時間を検証する必要がある。
Whisperの文字起こしで、認識誤りを抑えながら記憶領域を減らす方法
- Whisper-MLAは、Whisperのデコーダー自己注意にMLAを適用し、推論中のKVキャッシュを圧縮する。
- LibriSpeechの四つの評価分割における平均WERは、微調整済みWhisperの10.95%に対し、一部次元を残す提案設定が11.12%。その設定のKVキャッシュ削減率は81.25%だった。
- 87.50%の削減は全次元圧縮という別設定の値で、平均WERは13.29%。削減率と認識誤りは同じ設定同士で比べる必要がある。
AIエージェントの長い実行記録から、失敗箇所と原因を報告するTraceSIR
- TraceSIRは長い実行記録を判断・操作・結果の組に整理し、事例診断と横断報告に使う。
- 150件の失敗例を使った評価で、著者らはClaudeCodeより報告品質が平均9.7％高いと人間評価で報告した。
- 実務では原因の指摘が原記録に裏付けられるか、時間と出力のばらつきが許容できるかを測りたい。