表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 最新の短信
RESEARCH BRIEFS

論文をさくっと読む

掲載済みの論文解説から、研究の要点を短く紹介します。

論文短信

記憶の痕跡はどう形成され、呼び出されるか――神経細胞の変化と計算モデルを整理

RAG
  • エングラムを、学習時に活動し持続的な変化を受ける神経細胞群に対応する記憶の痕跡として整理する。
  • 著者は、結合の変化と疎な活動が記憶の安定性や区別にどう関わるかを、細胞研究と計算モデルの知見から論じる。
  • 確認できた本文の範囲では、新規モデルについて共通条件で測定した性能値は示されていない。
論文短信

調理中の映像・視線・手の動きをそろえた行動理解データセット

Computer VisionVLM
  • 29.7時間の調理を、複数視点の映像、奥行き、視線、身体と手の動きとともに収録した。
  • 細かな動作を密に注釈し、質問応答・動作認識・動作区分・動作生成の四課題を設けた。
  • 既存手法の動作区分成績は限定的で、別の作業環境への移し方も検証が要る。
論文短信

小型モデルと非同期実行でロボット制御を軽くするSmolVLA

VLMRobotics
  • SmolVLAは小型の視覚言語モデルと連続動作生成部を組み合わせ、画像表現と使用層数を減らす。
  • 動作の実行中に次の動作列を予測する非同期方式で、計算待ちと予測頻度のバランスを調整する。
  • 事前学習は481データセット・約2.29万試行を使用するが、提供抜粋だけでは課題別の性能差を確認できない。
論文短信

服の位置合わせと柄の復元を二段階に分ける仮想試着

Generative AIComputer Vision
  • 人物画像と服の画像を使い、低解像度で位置を合わせ、高解像度で細部を整える二段階の仮想試着手法。
  • 部位を塗り分けたマスクを入力に使わない一方、著者らは学習用に追加の合成画像を使用した。
  • 著者らの別の服への着せ替え評価では、VITON-HDでFID 8.24、KID 0.31、DressCodeでFID 4.21、KID 0.34だった。
論文短信

二つの言語モデルと人の確認で、皮肉を含む音声データを作る

AudioLLM
  • PodSarcは二つの言語モデルで皮肉ラベルを作り、不一致を人が音声とともに確認する。
  • 著者らのデータは1万1024発話で、人の確認を加えた音声・文字併用検出モデルのF1は73.63%だった。
  • 二モデルが一致した誤ラベルや、英語ポッドキャスト以外への適用は別途検証が要る。
論文短信

訛りのある発話を母語と誤認する言語識別に、音素の並びを加える

Audio
  • 著者らは、第二言語の発話を話者の母語や関連言語と誤認する傾向を確認した。
  • ET+phoneseqs-trainは音響表現と音素列の表現を結合し、言語別の音声認識器を使わずに分類する。
  • 訛りのある英語では基準モデルより平均正解率が高かった一方、FLEURSでは基準モデルを下回った。
論文短信

開始画像からロボットの動きを生成し、制御方針を試すWorldGym

RoboticsGenerative AI
  • 開始画像から方針の操作値に沿う動画を生成し、視覚言語モデルで作業の成否を判定する。
  • LIBEROでは成績順を保った一方、元の方針の成功率を低く、操作に雑音を加えた方針では高く推定した。
  • 実機への適用には、対象ロボットの画像・操作記録と、実際の成功率による照合が必要になる。
論文短信

衛星画像1枚と指定経路から地上の全周画像列を生成するSatDreamer360

Computer VisionGenerative AI
  • 衛星画像1枚と位置・向き付きの経路から、地上の全周画像列を生成する。
  • 三平面から視線に沿って特徴を取り出し、カメラの位置関係で画像間の参照範囲を絞る。
  • 著者らはVIGOR++で画像列を評価し、VIGORの位置推定実験では生成画像を加えた際の平均誤差低下を報告した。