推論の途中でも画像を参照する視覚言語モデルの二段階学習
- 言語モデルと視覚言語モデルの対話から、推論中に視覚情報を繰り返し取得する学習例を作る。
- 正答した回答では、後半も画像への注意が保たれるほど報酬を高める。
- 著者らの7BモデルはMathVistaで73.3、基礎モデルは68.2だった。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
ニュース文の主観性を多言語で判定：規則を示すLLMと追加学習した分類器
- ニュース由来の文や短い段落の主観性を判定するため、追加学習した分類器と、規則を示すLLMを試した。
- 公式テストではイタリア語のAnnotation方式がmacro-F1 0.8104で1位、ルーマニア語のXLM-RoBERTaがF1 0.7917で3位だった。
- ウクライナ語とポーランド語の提出結果は各基準値を下回った。課題ごとに一方式しか提出できず、全方式を全言語で比較した結果ではない。
路面電車の前方映像で線路周辺への侵入を判定するRailSafeNet
- RailSafeNetは単眼の前方映像でレールと物体を認識し、軌間1435 mmを基準に線路周囲への侵入度を表示する。
- 著者らはRailSem19で、11クラスの領域分割の最高IoUを0.650、３クラスの物体検出の平均mAP50を0.756と報告した。領域分割の比較対象とはクラス数や評価条件が異なる。
- 曲線区間の一例では区域境界に約3～4 cmのずれが報告された。現地映像で境界のずれと誤表示を測る必要がある。
分野共通の学習と手元のベクトル調整を組み合わせるCBP-Tuning
- 提供側が分野共通のプロンプト生成器を学習し、利用者側は課題ごとの低次元ベクトルを調整する。
- 著者らの表では、LLaMA-2-7Bの金融三課題の平均スコアがPrompt Tuningの14.99％に対し、CBP-Tuningで47.58％だった。
- 個別課題には利用者側の調整後に成績が下がる例があり、導入時は課題別の成績とデータの通信経路を確認する必要がある。
管制交信の音声認識：専門音声での事前学習と逐次処理を検証
- ATCO2の英語交信約4,500時間でBEST-RQを事前学習し、Airbus-ATCの文字起こし付き約40時間で認識用に調整した。
- 4単語単位の言語モデル併用時、ATCO2の1時間評価集合での単語誤り率はBEST-RQが19.70％、w2v-BERT 2.0が23.12％。Airbus-ATCのテストでは順に7.40％、6.21％だった。
- 音声を区間ごとに処理する逐次認識も評価した。実用判断には、対象環境での表示遅延と呼出符号・数値の誤りを別途測る必要がある。
限られた観察時間で巡回ロボットの侵入可能な地点を探すTCML
- TCMLは巡回位置と訪問履歴を使い、シナリオごとに事前学習なしで攻撃成功を予測する。
- シミュレーションの観察期限別集計では、TCMLの攻撃成功確率が無作為モデルを上回った。
- 実ロボットの評価は巡回記録上で行われ、物理的な侵入試験は行われていない。
文章で物体を配置し、編集可能なLiDAR連続点群を生成するLiDARCrafter
- 文章を自車基準の場面グラフと物体配置に変え、初回のLiDAR走査から連続点群を生成する。
- 物体の位置・軌跡・形状を明示的に扱い、配置を通じた物体単位の編集に対応する。
- 著者らのnuScenes評価ではFRDとTTCEで表中最良の値を示したが、CTCはすべての間隔で最良ではない。
目標までの手数を予測し、経路の長さを変える拡散型ロボット計画
- 出発状態と目標状態から手数を予測し、その長さに合わせて拡散型計画器が状態列を生成する。
- 計画器は長さを変えて切り出した軌跡で学習し、生成時は初期ノイズの長さで出力を調整する。
- 著者らは迷路とロボットアームの課題で改善を報告するが、確認できた本文の範囲に比較数値はない。
SunoとUdioの公開曲から、音楽生成の指示文と歌詞を読み解く
- 著者らは2024年5～10月に公開されたSunoとUdioの計101,953曲に付いた文章を収集した。
- 指示文、タグ、歌詞を数値化して群分けし、人が話題名を見直して探索図を作成した。
- 英語の歌詞42,163件から190群を得た一方、25,794件は外れ値となった。
AR上の仮想ロボットを動かし、点群を見ながら実機を遠隔操作する
- AR上の仮想ロボットをコントローラーで操作し、ABBの実機を遠隔で動かす方式を提案した。
- 実機先端の深度カメラから作る点群をAR画面に重ね、作業空間を確認できるようにした。
- GoFa 5を使った5人の比較実験で、著者らは作業成績28％改善、SUSスコア12％上昇を報告した。
画像と言葉をロボットの連続動作につなぐWALL-OSSの二段階学習
- WALL-OSSはカメラ画像と指示から、小作業の計画と連続したロボット動作を扱うモデルである。
- 画像・言語理解と区切った動作記号を先に学び、次に連続動作の生成を学ぶ。
- 著者らは視覚質問応答と操作課題を評価対象とするが、確認できた本文の範囲では結果の数値を検証できない。
450万枚規模の超音波画像で学ぶEchoCare、臓器をまたぐ解析課題で評価
- EchoCareは、450万枚規模の超音波画像を用い、画像復元と階層的な解剖分類を組み合わせて事前学習する。
- 著者らは、CAMUSの左室駆出率予測で平均絶対誤差3.91、FOCUSの胎児心臓画像で胸郭検出AP 97.26％を報告した。
- 施設での利用には、対象課題の画像と専門家のラベルによる追加学習、患者単位に分けた評価、誤分類の確認が必要になる。