画像と質問を相互参照し、追加学習後の忘却を抑えるMM-Prompt
- 画像と質問を相互参照してプロンプトを選び、同じ位置を隠して段階的に復元する。
- 著者らのVQA v2の両方追加設定では、平均性能Aが36.223、課題間忘却Finterが0.447だった。
- 現場利用には画像・質問・正解回答を用意し、追加学習後の既存項目の正答率も確かめる必要がある。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
感情や話し方の説明文から録音を探すRA-CLAP
- RA-CLAPは、感情や話し方を記した自然文に合う録音を探す音声検索モデルである。
- 対応組による対照学習の後、教師モデルの類似度分布を学ぶ自己蒸留で、部分的な一致を捉えることを狙う。
- TextrolSpeechで示されたRA-CLAPのR@1は音声から文章26.0%、逆方向27.5%。比較対象とは微調整条件も異なる。
文章と画像を合わせ、記事・論文・スライドを文書単位で探すDocMMIR
- Wikipedia記事、arXiv論文由来の文書、スライドを共通形式にそろえ、文章と画像を使って文書単位で検索する。
- 著者らは計488,467文書を構成し、手法比較では重み付き合成と二値交差エントロピーの全文書MRR@10を0.65662と報告する。
- 社内資料への応用には、実際の質問と正解文書の組を用意し、文章だけの検索と同条件で比較する必要がある。
長い入力のトークンを減らす――データ中心の圧縮をどう評価するか
- 既存のトークン圧縮を、圧縮対象の判定と削除・統合の二段階で整理した立場表明である。
- 長い入力での注意計算は負担が増えるが、理論上の計算量削減は実際の待ち時間の改善率を示さない。
- 著者らは注意スコアの位置の偏りや情報損失を課題に挙げる。本稿独自の実験数値は確認できない。
混ざった会話から指定した話者を取り出す四段階の音声生成
- 混合音声と対象話者の別発話を入力し、圧縮・抽出・復元・修正を順に行う。
- Libri2MixでPESQ 1.89、WER 0.16、話者類似度0.96を報告した。
- 実録音にも評価を広げているが、発言内容の保持は導入先の録音で確認が必要。
野生動物の声から録音地点を推定するAudioGeo-CLIP
- AudioGeo-CLIPは、音と位置の対応付けに、録音地点に分布し得る種の一覧を音から予測する学習課題を加える。
- 著者らのiNatSoundsテストセットでの位置誤差中央値は1082±11キロ、200キロ以内に入る割合は17.2±0.1％だった。
- 短い録音では聞こえる種が限られ、録音地点の分布にも偏りがあるため、利用する地域で誤差を測る必要がある。
抗体と抗原の組み合わせで結合候補を評価するAbBiBench
- AbBiBenchは変異抗体と抗原の複合体を採点し、モデルの尤度を実測結合値と照合する。
- 著者らは、収録データで逆折り畳みモデル群が平均順位相関と5-fold precision@10で最も高い成績だったと報告する。
- 収録規模などに記述の不一致があり、確認できた本文の範囲ではELISA結合試験の結果も確認できない。
モデルの派生元をたどり、関連資源を探す：HuggingKGと三つの評価課題
- HuggingKGは、Hugging Faceの資源と利用者などを2,614,270節点、6,246,353辺で表す。
- HuggingBenchは、資源推薦、複数ラベルのタスク分類、モデルの派生関係の追跡を評価する。
- 推薦実験ではHomoグラフを使うKGCLのRecall@20が0.2237、グラフを使わないLightGCLが0.2228。ただし手法も異なる。
数学の解答を途中で評価し、伸ばす候補を選ぶ推論探索
- 完成した数学解答の正誤と未完了をラベルに使い、途中の推論から正答へ至る見込みを推定する価値モデルを学習した。
- 生成中は文章ブロックごとに候補を選び、完成後は評価値を加味した多数決で答えを決める。
- 本文の表では1.5B生成器・生成予算256の4大会平均正答率が45.7%、通常の多数決が39.7%。要旨の予算64という記述とは食い違う。
質問ごとに推論指示・生成温度・段数を選ぶAdaReasoner
- 質問ごとに推論指示、生成温度、推論の段数を選び、LLMに回答させる。
- 質問と参照回答を使い、生成された回答への評価を手掛かりに設定の選び方を学習する。
- 著者らの四課題・六つのLLMによる比較では、各LLMの四課題平均正答率が比較手法中で最高だった。
回答候補の報酬を重みに変えるOP-MBRD：数学とコード生成での選択法
- OP-MBRDは、報酬モデルの点数を候補間の類似度を集計する重みに変え、最終回答を選ぶ。
- 効率版のOPE-MBRDは、重みから推定した採用見込み数を使って、入力ごとの生成数を調整する。
- 著者らはMATH-500とHumanEvalで評価した。確認できた本文の範囲では、結果図の数値を確認できず、改善幅は示せない。
推論文を生成してから商品を順位付けする推薦モデル「R2ec」
- R2ecは一つのモデルで推論文を生成し、その最終状態を使って商品候補を採点する。
- RecPOは次に選ばれた商品のラベルから報酬を作り、推論文の生成と商品推薦を学習する。
- 著者らはAmazon由来の3データセットで相対改善を報告するが、確認できた本文では報告値の個別条件を特定できない。