長い特許を発明グラフへ変換、局所注意で先行技術検索を効率化
- 特許本文の技術要素と関係をニューラルモデルで抽出し、検索用のグラフにする。
- 近傍だけの関係計算により、短い文書で学習した重みを4万トークン超の文書へ使う。
- 著者らは引用再現率の改善と、バッチ解析費用の約3分の1への削減を報告する。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
推薦モデルの学習時間を取り戻す、初期化・保存・復旧をまとめて最適化
- 新しいデータで学習が進む時間の比率ETT％で、GPUを占有する待ち時間を可視化する。
- 初期化、コンパイル、保存、公開、復旧を横断して改善する。
- 著者らの運用環境では全体のETT％が約80％から90％超へ上がった。
音の特徴を再計算せず反復するLAST、音声分類の計算量を42％削減
- 最初の処理で音の特徴を作り、その後は分類用の表現だけを更新する。
- AudioSetの平均適合率は0.345で、12層モデルより相対2.1％高かった。
- 反復回数の比較は別々に学習したモデル間の結果で、推論時に回数を増やす効果とは異なる。
動画フレームを一枚の格子画像にまとめ、画像モデルで動作を学習
- 複数フレームを格子状のsuper imageにし、画像用ViTを動画へ転用する。
- 空間と時間のマスキングから特徴を合わせ、画素を復元するデコーダーは使わない。
- Kinetics-400ではDINO初期値のViT-Bが動画事前学習10周でTop-1 83.3%を報告した。
似た連続フレームの偏りを抑え、動画を順番どおりに自己教師学習
- 全体の並べ替えや複数周の再学習なしで、動画を時間順に学習する条件を調べた。
- 主な課題は隣接バッチの重なりより、同一バッチ内のほぼ重複したフレームだった。
- StreamMAEは再構成の目的を保ち、正則化と動きを優先した切り出しで性能を改善した。
証明の提案と反証的な検査を繰り返し、確認済みの中間成果を蓄積
- 複数の証明担当が異なる方向を探索し、検査担当が誤りや不足を探す。
- 確認した中間結果を永続的な台帳に残し、次の探索で利用する。
- Geminiを使い、五つの未解決問題で新結果を得て専門家が独立に確認したと報告する。
材質の見た目と作り方を同時に生成、編集可能な短いプログラムに保持
- 文章から、重なり合う層と共有パターンで材質を作る短いプログラムを生成する。
- 構文の修復、プレビューの批評、乱数種の探索を経て材質マップへ変換する。
- 30人・20指示の比較で選択率59.2%、保持したプログラムの長さは中央値21行だった。
画素の固定格子を外し、観測値と物理的位置から画像・点群を処理
- 観測値と取得メタデータを一つの単位にし、固定の画像格子を前提にしない。
- 物理空間で近い観測をアンカーへ集約し、指定した位置の出力を得る。
- 地球観測の多様な入力から順序のない3D点群まで、同じ構成で評価した。
同じ重みの反復と専門家の疎な選択をまとめて予測するLLM設計則
- 反復回数、専門家の疎性、モデル規模、データ量を共同で扱うスケーリング則を提案した。
- 反復の利得は無限には増えず、専門家数によって飽和の仕方が変わる。
- 同じ学習計算量で、反復MoEが約二倍大きい非反復MoEの推論課題性能に並んだと報告した。
自律ML開発では強い単一エージェントと実行環境が主要因との比較結果
- 同じ基盤モデル、時間、計算資源で、複雑な実行枠組みと最小構成を比較した。
- 読書きと実行を直接行える環境が最大の効果を持ち、追加の仕組みに有意な優位はなかった。
- MalenaはMLE-benchとNatureBenchで四つの公開枠組みと同等以上と報告された。
対称性で見つかる規則と見落とす規則を、記述の短さから分析
- 二進文字列の分類を対称変換の軌道として捉える理論を構成した。
- 全対称群では従来のモデルを回収する一方、線形対称性では見えない単純な構造がある。
- 探索可能な対称性の仮説集合には、単純な構造を見落とす限界があると示した。
別言語から知識が再び出る抜け道に、忘却学習の言語選択で対処
- 174の言語・文字体系の組と25種の言い換えで、言語をまたぐ忘却を調べる。
- COVERは無害な校正データから、未学習言語への効果を見込んで学習言語を選ぶ。
- 三モデル系列、二つの忘却集合で、一様選択より残るアクセスを平均7.8〜27.3%減らした。