LLM推論前の排出量を見積もる：処理段階とGPU特性を分けて学ぶLLMCO2
- 入力処理と逐次生成を分け、GPUの計算・転送性能を反映して推論エネルギーを予測する。
- 著者らが報告した六つのLLM系列の平均MAPEはLLMCO2が15.5％、DeepEnが31.9％だった。
- 排出量への換算には、予測エネルギーに加えて施設の電力使用効率と電力の炭素排出係数が必要である。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
複数の根拠をたどる質問でRAGの検索方式を測るOPI
- OPIは、生成回答と正解回答の意味の近さ、論理関係の分類正解率を組み合わせてRAGの検索方式を評価する。
- 著者らの13種類の論理関係を用いた比較では、平均OPI-1はkNNが最高、EDIが最低と報告された。
- 七方式または四方式の組み合わせはkNN単独を上回ったが、kNNとDPSの二方式併用はわずかに下回った。
回答評価AIは何に左右されるか：12種類の偏りを調べるCalm
- Calmは、言語モデルによる回答評価の偏りを12種類に整理し、回答や評価指示の改変前後で判定を比較する。
- 著者らの表4では、感情表現を変えた事実関連データ500件の頑健率はChatGPTが0.804、GPT-4-Turboが0.653だった。
- 実務への適用時は、改変による判定の変化に加え、同じ入力での判定の揺れと、改変後も回答の質が保たれるかを確認する。
回答を一律に拒否せず、生成中のトークンを選んで伏せるHiddenGuard
- HiddenGuardは生成中の内部状態を使い、有害と判定したトークンを伏せる。
- Prismは入力側の信号と生成箇所ごとの判定を組み合わせる。著者らは検出と伏せ字処理でF1スコア90％超を報告する。
- 確認できた本文には評価データの分割や比較表がなく、導入時には対象データで見逃しと誤伏せを測る必要がある。
アムハラ語の偽ニュース判定で、記事の内容と投稿の広がり方を組み合わせる
- 著者らは、アムハラ語のニュース12,000件を使い、本文と社会的文脈を組み合わせた偽ニュース判定を検討した。
- 著者らのテストでは、従来型分類器の統合方式がF1値0.99、アムハラ語向けに調整した多言語モデルmBERTが0.94だった。
- LIMEで個別モデルが重視した語を調べた。社会的文脈単独の寄与や別時期の投稿での成績は、確認できた本文の範囲では分からない。
英語学習者の発話を母語話者がどう追唱するか、音声変換で模擬する
- 学習者の英語音読から、母語話者による追唱に近い音声を生成する方法を検討した。
- 日本語母語の英語話者225人と追唱者一人による2,695組の録音を使い、生成音声と実際の追唱の近さを評価した。
- 報告された指標は語と音響の類似性を測るもので、聞き取りにくい箇所の検出精度や学習効果は示していない。
新規項目の履歴不足と行動変化に対応する検索順位付け：BayesCNSの実験と導入条件
- BayesCNSは検索語と項目の属性から行動回数の事前分布を推定し、表示後の行動で更新して順位付けに使う。
- 著者らの新規項目推薦実験では、CiteULike・LastFM・XINGのNDCG@20がいずれも比較手法Heaterを上回った。
- A/B試験の表では成功率が1.05ポイント、新規項目の表示指標が10.60ポイント増えた。後者は抄録の「相互作用が10.60％増」と名称と単位が食い違う。
実測の移動距離統計に合わせて合成軌跡を作るGeoLife+
- GeoLifeのGPS軌跡から四つの移動距離統計を求め、生活上の目的に応じて移動を作るシミュレーションの設定値を調整する。
- 著者らが報告した類似度は、182人・5年で0.93、10万人・6か月で0.25。条件が異なるデータを使う際は統計量を確認する必要がある。
- 導入試作では調整前のシミュレーションも同じ条件で動かし、既存GPS軌跡から抽出した滞在地点と地理情報を使って比較する。
音声を区切って順次書き起こすSpeechLLM-XL：長時間入力での精度と計算量
- 固定長の音声区間ごとに文字を生成し、過去を参照する範囲を制限して長時間入力の計算量を抑える設計。
- 著者らのLibriSpeech評価では、1.28秒区間のWERはtest-cleanで2.7％、test-otherで6.7％。
- 10倍長の試験音声は同じ発話の反復連結であり、自然な長時間会話への適用には別の評価が必要。
長文を検索しながら要約するUnlimiformerを生成型モデルに適用
- 長文を重複する区間に分け、検索を使う層ごとの索引に内部表現を保存する。
- 著者らはGovReportで、入力長1024のGPT-Summに本手法を加えると、入力長2048の同モデルと同程度だったと報告した。
- 質問応答での改善は要約より小さく、層別索引による遅延の増加も著者らが挙げる制約である。
スマートフォンの反射音で六つの表情を識別するFacER+
- FacER+はスマートフォンの受話口から近超音波を出し、顔からの反射音で六つの表情を分類する。
- 著者らは20人のデータを用い、異なる利用者群での認識精度が90％超と報告した。
- 実用時には、顔までの距離、マスク、周囲の反射音による誤分類を条件別に検証する必要がある。
指の曲がりを測り、柔らかい二指グリッパーの接触力を調整する
- 各指の曲がりから接触を検出し、接触時の曲がりを基準に弁を操作して接触力を調整する。
- 半径2 cmの円柱を使った実機試験で、目標差を決める係数に応じて接触力と最大引き抜き力が変化した。
- 係数から最大引き抜き力を正確には予測できないため、導入先の対象物でも力を測って設定を確かめる必要がある。