商品説明と加工した操作履歴を外部LLMで表現する連合型の順序推薦
- FELLASは商品説明文と加工した操作履歴を外部LLMで表現し、端末側の順序推薦モデルの学習に使う。
- 端末は履歴を摂動してから外部へ送り、著者らは外部LLMサーバー単独と中央サーバーとの協力を想定した推測攻撃を設計した。
- 著者らはAmazonの三つのデータセットと二つの順序推薦モデルで評価したと述べるが、確認できた本文の範囲では指標や結果の数値は分からない。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
問診情報と呼吸音を一つのモデルで扱うRespLLM
- 問診文、判定指示、呼吸音を一つの言語モデルで処理し、呼吸器状態を二値で予測する。
- 著者らの報告では、学習済み七課題の平均AUROCは0.8072、未見データ五課題では0.6547だった。
- 著者らは概念実証であり、臨床利用を意図しないと明記している。
研究者の「情報圏」を模擬して翌年の共著を予測する
- 研究者が触れた可能性のある情報を「情報圏」として模擬し、翌年の共著予測に加える。
- 著者らの実験では、GraphSAGEの合計集約設定で正解率が情報圏なしの0.802、著者に基づく情報圏ありの0.886だった。
- 情報圏の経路抽出には翌年のグラフを使う。実運用には、予測時点で利用可能な記録だけを使う再検証が必要である。
関節のある物体の模擬作業を生成し、実機の動作学習に使うGenSim2
- GenSim2は関節のある物体の模擬課題を作り、動作計画器や強化学習の解法で実演データを生成する。
- PPTは点群、ロボット自身の状態、作業文を入力に、複数作業の動作列を学習する。
- 著者らの実機8作業・各10試行では、平均成功率が実機データのみ0.363、模擬データとの併用0.575だった。
多言語の文章はどう区切られるか：LLMのトークン化と医療記録での検討課題
- 著者らは、cl100k_base、p50k_base、r50k_base、BERT baseのトークン化方式を対象に、言語による分割のばらつきを検討する。
- 言語資源が少ない言語での費用とサービスの利用可能性に着目し、電子健康記録の事例も扱う。
- 確認できた本文には、対象言語別の測定値や方式間の優劣を判断できる定量結果は示されていない。
コード向けBERTの注意行列を分析し、脆弱性を判定する
- コード向けBERTの注意行列から、語のつながりや輪がどれだけ残るかを特徴量にし、脆弱性を判定する。
- Devignの150トークン未満の例で、著者らはLightGBMのF1スコア0.55、正解率0.63を報告した。
- 本文と結果表で比較モデル名が一致しない。確認できた本文にはデータ分割方法も示されていない。
代名詞の予測で、先の手掛かりと後の手掛かりをどう使うか：BERTとGPT-2の分析
- WikiBioの人物紹介文を用い、複数の手掛かりが末尾の代名詞予測にどう関わるかを調べた。
- 著者らは、BERTは先の手掛かり、GPT-2は後の手掛かりを概して重視すると報告した。ただしGPT-2には手掛かりが二つの場合の例外がある。
- 内部表現への寄与と予測確率への影響を別々に測った。分析対象は正しく予測した事例で、図や表の数値は確認できた本文にない。
文章と関節の目標位置から人型キャラクターを動かすCLoSD：計画と物理実行をつなぐ
- CLoSDは文章と関節の目標位置から短い動作を計画し、物理シミュレーションで実行した姿勢を次の計画に戻す。
- 著者らが報告した着座と起立の成功率は0.88と0.98で、同じ表の開ループ構成は0.19と0.23だった。
- 実用検討には文章と動作の対応データ、関節と接地の情報、物体の配置、課題完了の判定を対象場面に合わせた検証が必要である。
二つのノード表現を照合してグラフの接続を復元するGraphCroc
- GraphCrocは二経路で作るノード表現を交差させて照合し、複数グラフの接続表を復元する。
- 著者らが掲載した5データセットのAUCでは、GraphCrocが数値のある比較手法をそれぞれ上回った。
- 業務への適用には、正しい接続を記録した複数グラフを用意し、未知のグラフで辺の向きや確認負担を検証する必要がある。
主張と根拠の対応をたどって判定するZero-NatVer
- 主張を短く分けて根拠文に対応付け、意味関係を規則に通して支持・反証・根拠不足を判定する。
- 著者らの英語４データセットでのゼロショット一般化では、平均正解率59.93％で、同じモデルを使うQA-NatVerを平均8.96ポイント上回った。
- 社内規程への応用では、判定の正しさに加え、選んだ条文と表示した対応箇所を人が検証する必要がある。
胸部X線の画像特徴に説明を付け、読影所見を生成するSAE-Rad
- SAE-Radは画像モデルの内部表現を少数の特徴に分け、対応する報告書から付けた特徴の説明を使って胸部X線の所見欄を生成する。
- MIMIC-CXRの試験用3,403枚で、著者らはRadFact F1 37.2、CheXbertの14項目マクロF1 34.3を報告した。
- 著者らの生成例には参照報告書の特徴の見落としがあり、下書きを使う場合も原画像との照合が必要である。
VRゴーグルで隠れた顔の表情を読む――37人の装着時画像による7分類
- 37人のVRゲーム参加者から、実際にゴーグルを装着した顔のラベル付き画像3,556枚を構成した。
- 参加者単位で分けたテストセットで、静止画像による7種類の表情分類の正解率は69.84％だった。
- 各ラベル付き画像には計30フレームの連続画像があり、顔センサーの連続データは1,727件に対応する。