一つの動画で隠れた人体の形まで補うSOAR
- SOARは一つの人物動画から共通の三次元モデルを作り、映らない部分を生成モデルで補う。
- 著者らのDNA-Rendering評価では、別視点のPSNRがSOARで23.16、比較したGARTで21.89だった。
- 未観測部分は推定であり、実際の外見との一致を用途ごとに確認する必要がある。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
回答を検証してから検索・再生成するLEAF
- LEAFは回答を文ごとに検証し、支えのない記述に関係する資料を再回答へ渡す。
- 著者らの五データセット平均では、70Bモデルの正答率が元の74.21%から再回答方式で79.71%になった。
- 検証を通った回答だけの正答率は全質問の正答率と区別して読む必要がある。
多数のAIエージェントは役割や集団ルールを作れるか
- PIANOは複数の処理を並行実行し、中心の判断を会話と行動に伝えるエージェント設計である。
- 著者らはMinecraftで個体の収集行動、30体の役割分担、50体の社会的関係などを調べた。
- 得られた結果は仮想環境での予備的な観察であり、実務の集団作業への効果は別途検証が要る。
画像と言葉から連続動作を作る汎用ロボット方策π₀
- 視覚言語モデルに動作生成部分を加え、画像・指示・関節状態から連続動作を作る。
- 著者らは7種類のロボット構成と68作業を含む、1万時間超の動作データを事前学習に用いた。
- 洗濯物畳みなどを評価対象とするが、確認できた本文の範囲では作業別の成功率は確認できない。
LLMが作った特徴量は予測に役立つか：FeatEngの評価方法と導入時の確認点
- FeatEngは、LLMが生成した特徴量変換コードを、無加工のデータで学習したXGBoostからの予測誤差の減少で評価する。
- 著者らは103件の分類・回帰課題を評価し、o1-preview 2024-09-12のFeatEngスコアを30回の実行で11.05±1.29と報告した。
- 実務では正解ラベル付きデータと列説明を用意し、情報の混入やコードの整合性を確認して、未使用データで基準モデルと比べる。
過去の評価から理由文を作り、好悪の予測と説明を学ぶ「ReasoningRec」
- 商品説明と古い評価から利用者像を作り、実際の好悪に沿って生成した理由文で小型モデルを調整する。
- 256学習事例でのBinary AUCは、ML1Mで0.744、Fashionで0.786、Beautyで0.798と著者らは報告した。
- 生成した理由が利用者本人の判断理由と一致するかは、別途検証が必要である。
青果物のまとめ取りを人の手から学ぶ、多指グリッパーの試作と検証
- 人のまとめ取りを観察し、四指を個別に動かせるグリッパーの試作と評価へつなげた。
- 著者らの代用品を使ったロボット試験では、時間当たりの搬入個数は一個取り57.1個、複数個取り74.2個だった。
- 実物の青果物での傷みと、把持前後を含む工程全体の成功率は別途確かめる必要がある。
ドローン画像を三次元特徴に変え、作物の地上部バイオマスを推定する
- NeFFがドローン画像から植物表面と特徴を三次元化し、BioNetが地上部バイオマスを数値で推定する。
- 著者らのMMCBE評価では、点群条件の平均絶対誤差は120.9グラム、画像とNeFFの条件は138.8グラムだった。
- 導入判断には、対象圃場での実測値との誤差と、成長時期が変わる際の安定性を確認する必要がある。
画像と言葉の参照先を見て、視覚言語モデルの保存領域を減らすVL-Cache
- VL-Cacheは画像の後に続く文章からの注意を使い、入力ごとに層別の保存量と残す情報を決める。
- LLaVA-Mistral-7BのCoco-Captionでは、保存量10％時のCIDErが100.36、全量時が100.68だった。
- 著者らは100トークン生成で全体時間が最大2.33倍高速になり、GPU上のKVキャッシュ用メモリが90％減ったと報告した。
LLMの回答候補を複数の設定へ配分するOSCA：少ない候補数で解ける問題を増やす
- OSCAは訓練問題の正答頻度を使い、モデルや温度など複数の設定へ回答候補数を配分する。
- 著者らのLiveBench評価では、候補数8のOSCAが67.0％、候補数128の標準の単一設定が66.7％だった。
- 候補数は設定間の生成費用が近い場合の予算指標であり、導入時には実費と所要時間も確認する。
歌声合成の音程切り替わりを補うRDSinger、参照音を使って雑音除去を導く
- FastSpeech2が作るメルスペクトログラムを参照し、拡散モデルの各段階で歌声の音響特徴を生成する。
- 音程の切り替わり付近の参照情報をぼかし、学習時には同領域の誤差を重く扱う。
- OpenCpopを使った著者評価で、MOSはRDSingerが3.46±0.07、DiffSingerが3.30±0.07だった。
異常な機械音はどう違うか――近い正常音と比べて音色の変化を示す
- 正常音だけを学習に使い、異常度と五つの音色属性の増減を同時に示す。
- 音声の特徴が近い正常音を比較相手に選び、運転条件などによる正常音のばらつきに対応する。
- MIMII DGを用いた評価では、音色差の改善は主に元の収録条件の領域で報告され、別条件の領域では差が小さかった。