室内シミュレーションの経験から行動と成功判定を更新するSELU
- SELUは、行動を選ぶモデルと成功を判定するモデルを、環境内で集めた軌跡から反復して更新する。
- 失敗判定を対象物の状態への自問で見直し、別の目標を達成した軌跡は指示を付け替えて学習に使う。
- 著者のLLaVA実験では、AI2-THORとVirtualHomeの両方で、平均成功判定精度と平均タスク成功率が初期モデルを上回った。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
通行人への菓子の差し出し方で反応はどう変わるか――大学構内でサービスロボットを比較
- 大学構内の2カ所で3日間、計5時間超にわたり運用し、周辺で追跡した1777人のデータを集めた。
- 差し出し後6秒以内に手が箱へ近づいた割合は、距離条件35.9％、意図推定条件44.9％と著者らは報告した。
- この指標は菓子の実際の受け取りや快適さを測るものではなく、通行人の主観評価も得られていない。
料理画像を文章に変えると次の飲食店を予測しやすくなるか――東京の訪問履歴による検証
- 著者らは、東京の飲食店訪問履歴を用い、料理画像から生成した説明文を店舗属性に加えて次の訪問先を予測した。
- 説明文あり／なしのRecall@50は0.0123／0.0048だった。比較したのは同じRecformerの入力条件である。
- 料理画像は店舗カテゴリに基づいて無作為に割り当てられており、実店舗の写真を使った場合の品質は検証が必要である。
曲名やアーティスト名を手掛かりに探す音楽検索「TTMR++」
- TTMR++は、タグから作る説明文と曲名・アーティスト名などを使い、文章と楽曲音声を対応付ける。
- 類似アーティストの関係を楽曲に結び付け、固有名詞を含む類似曲検索を学習する。
- 著者らの評価では複数の指標が向上した一方、類似関係文の追加後にSong DescriberのRecall@10は下がった。
専門分野のラベル付けをLLMに任せられるか――金融・医療・法務の6課題で検証
- 金融・医療・法務の6課題で、LLMが付けたラベルを専門家のラベルと照合した。
- 直接回答でのGPT-4oの平均正解率は67.8%。5回の回答による多数決では69.6%だった。
- 著者らの実験では、複数モデル方式は単一モデル3種の平均をわずかに上回ったが、最良の単一モデルには届かなかった。
短い参照音声から話者と抑揚を反映する音声合成「MultiVerse」
- 短い参照音声を使い、未学習話者の読み上げ、言語間合成、話し方の転写を扱う。
- 音素ごとの長さ・高さ・強さを予測し、声道側と音源側の表現に参照音声を反映して合成する。
- 著者らの英語・中立音声を参照した同一言語評価では、話者類似度SECSは0.852だった。
LLMのsoftmax入力を2ビット化し、指数計算と加算を速めるEXAQ
- EXAQは、指数計算後の値の誤差を基準にsoftmax入力の切り詰め境界を推定し、2ビット版では表を使って指数値と4個分の和を得る。
- 著者らのLLaMA-1-30B・PIQA評価で、表の値は2ビットEXAQが81.3、BF16が81.2、2ビットNAIVEが72.1だった。
- 著者らが切り出して測ったsoftmaxの平均処理時間は3.274ミリ秒から2.066ミリ秒に短縮した。LLM全体の短縮率ではない。
画像にない物体を含む説明文を見分ける、CLIPの評価と追加学習
- OHD-Capsは画像ごとに正解文１件と、物体の記述を変えた誤文27件を用い、CLIP単体の候補文選択を評価する。
- 著者らのOHD-Caps評価では、CLIP ViT-B/32の３集合平均が追加学習により14.3%から82.5%になった。
- 改良した画像エンコーダーを使うLLaVA-1.5では、NoCapsを加えたPOPEのLoRA方式でF1値が80.2から83.2になった。
多体運動の予測を八つの場面で比べるデータセット「MBDS」
- MBDSは一次元から三次元までの八つの物理場面を収録し、運動予測モデルの比較に使う。
- 著者らが評価した四つのモデルでは、場面と予測時点によって誤差や順位が変わった。
- 軌跡の総数には本文内で食い違いがあり、実務利用には実測軌跡による検証が必要である。
基準歩行に補正を加え、深度画像から障害物を避ける四足ロボット制御
- 固定した基準歩行に学習した補正を加え、深度画像と自己状態から四足ロボットの関節目標角度を出す。
- 著者らの秒速1メートルの模擬歩行実験では、残差の追加により最終報酬がSHACで60％、PPOで25％増えた。
- 画像を使う四足ロボットの回避方策は模擬環境で学習したが、著者らは統合した方策の頑健性に課題を報告している。
骨表面の一部から術前モデルの位置を合わせる：距離と傾きを使う勾配SDF
- 骨全体の勾配SDFに、術中に測った部分的な骨表面点群を合わせる方法を提案する。
- 骨模型実験で著者らが報告した骨盤のTREは、光学追跡で2.198mm、電磁追跡で2.719mmだった。
- 初期回転の見当が必要で、十分な点を取得したかの即時判定は著者らが挙げる今後の課題である。
音声の時間順を保って入力を短縮するFastAdaSP：課題に応じた統合方法と評価結果
- FastAdaSPは、隣り合う音声特徴を類似度でまとめ、音声と指示文への注目度を使って統合する。
- WavLLMのMuTual test音声質問応答では、計算量50％削減時の正答率が68.70％で、元モデルの67.60％だった。
- 240秒音声を使うA100 80GBでの測定では、生成速度が毎秒3.10から5.72トークンになったと著者らは報告した。