長文を読むAIの「正答率と処理費用」を同時に測る四つの課題
- LongHarness Benchは、段階的な検索と照合が必要な四課題で、長文処理の正確さと費用を測る。
- 最高の四課題平均正答率は68％で、同じモデルでもハーネスと課題によって結果が変わった。
- 正答率が近くても費用に差があり、追加のモデル呼び出しが常に有利とは限らない。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
四本の実写動画から多様な物体の運搬を学ぶ人型ロボット
- PRISMは四本の人の実写動画を256本の反実仮想動画へ増やし、ロボット用の動作へ変換した。
- 接触を使う復元・変換・学習を加えると、シミュレーションの対象内成功率は22.50％から96.25％へ上がった。
- 実機では未知の物体も運べたが、動画から使える軌道を得る工程と物体の物理特性に制約が残る。
画像を直接作る拡散モデルに、細部の質感を戻す追加学習
- 画素を直接作るDeCoとPixelGenでは、敵対的損失を加えた追加学習により複数の品質指標が改善した。
- DeCoではFIDが33.27から28.59へ下がり、細部に対応する周波数成分も実画像に近づいた。
- 試した潜在拡散モデルでは同様の共同改善が出ず、適用先の構成に注意が必要である。
音声認識を軽量化すると誰の誤りが増えるか――集計値では見えない差
- 最大モデルの二層削減では、全体の単語誤り率は改善したが、Black話者の値は有意に悪化した。
- Fair-Speechでは八層削減によりBlack話者とAsian話者の誤り率の差が13.5から24.5ポイントへ広がった。
- LoRAで各群の誤りは減ったが改善は均等ではなく、Common Voiceでは差の広がり方も異なった。
短い科学検索語に生成語彙を足すと、強い検索器でも精度は上がるか
- 四つの生成形式は、三つの科学検索データ集すべてでSPLADE-v3の平均nDCG@10を改善した。
- 改善は語順を崩しても残り、著者らは追加された専門語彙を主な要因と解釈している。
- 元の質問への重みが30％以上の全90設定で改善したが、対象は英語の三データ集に限られる。
長いAI作業で「次に何をするか」を独立して考える制御方式
- 制御役が進捗確認、次の作業の提案、費用対効果の評価、依頼内容の作成を順に行う。
- ProgramBenchではGPT-5.5を用いた提案法の平均テスト通過率が71.5％で、Codexの58.0％を上回った。
- 短い作業では制御費用が不利になり得るため、成功率とともに時間と呼び出し数を測るべきである。
次の単語とともに内部状態を引き継ぐ言語モデルLIFT
- 次の単語の候補分布を状態として引き継ぎ、深い層の情報を後続の計算へ戻す。
- 教師が事前に作った状態で並列学習し、生成時にはモデル自身の状態を使う。
- 10億規模の言語モデル評価では、同じ学習単語数のTransformerよりパープレキシティが低かった。
人の実演動画からロボットが学ぶ内容を明確にするSimpleICL
- 実演動画から従うべき内容を、動作、順序、対象物、扱い方の四つに定義した。
- 七つの未学習シミュレーション課題で平均成功率65.9％、比較対象のFast-WAMは24.6％だった。
- 現場検証では、配置変更と似た対象物を含め、失敗の種類を分けて測る必要がある。
複数の写真から粗い立体像を組み立てて答える画像言語モデル
- 少数の要約トークンから粗い三次元場面を復元する学習を、複数画像への質問回答と同時に行う。
- 七つの評価群で検証され、SQA3Dなどで既存手法を上回ったが、ScanQAの厳密一致率ではRoss3Dを下回った。
- 現場利用では視点の不足や遮蔽による物体の取り違えを、画像枚数を変えて検証したい。
感情を「共通の変化」と「感情ごとの差」に分けて音声を制御する
- 感情ベクトルを共通成分と感情固有の残差に分け、既存の音声合成モデルを再学習せずに調整する。
- IEMOCAPでは二つの音声合成モデルで、CoCoEmoより感情の順位相関と主要感情の一致率が高かった。
- 導入時は感情の伝達だけでなく、自然さ、明瞭さ、話者らしさを同条件で測る必要がある。
検索例をプロンプトに添え、追加学習なしで文書検索の表現を作る
- 少数の質問・文書例を共通の文脈として与え、追加学習なしで密検索用の数値表現を作る。
- 著者らのBEIR 10データ集合では、Qwen3.5-9Bの平均Recall@100が例なしの0.522から0.558へ上がった。
- 学習済みのQwen3-Embedding-8Bの平均0.645には届かず、対象文書での検証が必要である。
LLMの記憶を16語ごとに圧縮し、生成中の丸め誤差を抑える
- 生成中の再帰状態を毎語ではなく一定の語数ごとに圧縮し、区間内の更新を高精度で保持する。
- 著者らの12組のモデルと課題の評価では、8ビット設定の平均精度75.5％が32ビット基準と同じだった。
- 一部モデルの速度測定には8層版が使われており、その結果だけで全体モデルの回答品質は判断できない。