音声で質問すると落ちる回答性能を、文字モデルの評価で補うX-OPD
- X-OPDは音声モデル自身の応答を文字モデルがトークン単位で評価し、音声・文字の両入力で学習させる。
- 著者らの条件では、BIG Bench Audioの音声入力正答率が85.67から93.41となった。
- 実務適用には意味が一致する音声と書き起こしを用意し、対象業務の正解付き質問で別途検証する必要がある。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
少数のX線投影像から、次に撮る角度を選ぶCT再構成法
- 一つの密度場の低密度ガウス成分を揺らし、予測投影像の構造的なばらつきから次の撮影位置を選ぶ。
- 著者らの合成データ24方向の評価では、三次元PSNRは提案法34.078 dB、FisherRF 33.347 dBだった。
- 実物由来データの参照体積は擬似的な正解で、評価用投影像もシミュレーション生成である。実機での追加撮影は別途検証が必要。
呼吸音と質問に応じて二つの処理経路を選ぶ音声質問応答
- 呼吸の録音に応じて音声符号器を選び、続いて質問と音声情報に応じて回答生成用のLoRA補助部を選ぶ。
- RA-QAの分類タスクで著者らが報告したAccuracyは0.72で、比較した固定経路のモデルは0.61と0.67だった。
- 実用検証には対象環境の録音と正解ラベルを用意し、機器別の成績や回答を読み取れない例も確認する必要がある。
太平洋の３言語を音声認識に追加すると、先に学んだ言語は保てるか
- Whisper-Smallを太平洋の３言語に適応し、転記の誤り率、モデル内部の変化、逐次学習による忘却を調べた。
- レレパ語の２時間学習条件では、LoRAのテスト単語誤り率75.66％が全パラメータ更新の84.10％を下回った。
- ナフサン語の後にレレパ語を学んだLoRAでは、ナフサン語のテスト単語誤り率が53.23％から84.42％に上がった。
短い視線で物体を選び、音声で作業を指定する支援ロボット操作
- 物体までの距離と視線の移動方向を蓄積し、短い視線から選択対象を推定する。
- 視線で対象を、音声で動作を指定し、ロボットは対象への到着後に利用者の確認を待つ。
- 表Iは追跡率0.92、選択精度0.98を報告するが、要旨との数値の食い違いがある。
未知の車両や歩行者を、位置と呼び名の履歴から追跡するNOVA
- NOVAは三次元の検出候補と過去の軌跡を照合し、同じ物体かを言語モデルで判定する。
- nuScenesの未知カテゴリでは、著者らはAMOTAがOpen3DTrackの2.20％から22.41％になったと報告した。
- 既知カテゴリや別指標の結果も併せて読み、導入時には検出漏れ、識別番号の切り替わり、処理速度を測る必要がある。
道路映像から追加学習なしで三次元の占有地図を作るFreeOcc
- FreeOccは既存の画像分割・三次元復元モデルから、対象地域で追加学習せず占有格子を作る。
- Occ3D-nuScenesの検証分割で、追加学習なしのmIoU 16.9、RayIoU 16.5を報告した。
- 個別物体まで含むRayPQは3.1で、推論時間と現場条件への適合が導入時の課題となる。
正解画像が一つに決まらない仮想試着で、画像の誤りを学習報酬にする
- IECは試着画像の誤りを５軸で内部的に数え、候補群内で補正した報酬を追加学習に使う。
- MDressBenchのCECは、平置き画像でIECが5.312、RaRが5.596、着用状態の画像でIECが5.203、RaRが5.533だった。
- 25件・各８候補の人手順位付けでは、CECの首位一致率が0.60、DirectとRaRは各0.30だった。
推論文に答えが表れる前に、内部状態から最終回答を読めるか
- 注意プローブは推論途中の複数の語の内部状態を重み付けし、モデルの最終的な四択回答を予測する。
- DeepSeek-R1では、MMLU-Reduxで内部状態と推論文の予測に大きな時点差が見られ、GPQA-Diamondではその差が小さかった。
- 著者らは早期終了によって、同程度の正答率で生成トークン数をMMLUで最大80％、GPQA-Diamondで30％削減したと報告する。
操作記録から行動列を選ぶLPS：価値評価を潜在変数に直接伝える
- LPSは、記録済みのロボット操作から、潜在変数を介して価値の高い行動列を選ぶオフライン強化学習法である。
- 行動側の価値評価からMeanFlowを通して潜在変数を選ぶモデルを更新し、潜在変数専用の価値評価モデルを省く。
- 著者はOGBenchとDROIDの操作課題で比較手法を上回ったと報告するが、確認できた本文には具体的な実機成功率がない。
台湾の音声を選別して学ぶTai-LALM：推論時も二つの文字起こしを照合
- 台湾関連の元音声522,572件を456,832件に選別し、58万組の音声・指示応答データを作った。
- Tai-LALMは追加学習にそのデータを使い、回答時には二つの文字起こし候補を音声との当てはまりで選ぶ。
- 著者らのTAU Benchmark評価では全体正答率49.1％で、文字起こしを条件に加えた追加学習前の基準42.6％を6.5ポイント上回った。
音声の候補を短い区間から選別するMSpoof-TTS
- 固定した音声生成モデルが作る複数候補を、別途学習した実音声判定器で段階的に選別する。
- LibriTTSでは通常生成より単語誤り率とNISQAが改善したと著者らは報告する。
- TwistListではHierEASが単語誤り率でEAS単独を上回らず、用途別の確認が必要である。