重なる断面で3D形状を表すSILSA、細い構造とつながりを保つ
- 3軸の重なる断面窓を潜在表現にし、大量のボクセルトークンを避ける。
- 共有3D格子で各方向の断面を整合させ、穴と連結の変化も学習する。
- 比較実験で学習メモリ40.4%、推論時間58.5%の削減を報告した。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
複数の物理現象を順序どおり描くプロンプトを学ぶHiPhy
- 凍結した動画生成モデルへ渡すプロンプトを、強化学習で改善する。
- 物理現象ごとの段階と、映像全体の意味・一貫性を別の報酬で扱う。
- MultiPhyBenchで物理と意味を同時に満たす割合52.7%を報告した。
補助拡散モデルを分類器に置き換えるDMAD、少数ステップの画像・動画生成
- 実データ・教師出力と生徒出力を識別し、分布差を直接学ぶ蒸留法を提案する。
- 共通の基盤に2つの識別ヘッドを置き、補助スコアモデルの適合を省く。
- 1ステップ画像生成、4ステップ画像・動画・音声動画生成で結果を報告した。
分子の環や結合構造を文法へ変えるHGR、妥当性を保ちながら生成
- 高次の分子構造を生成規則の列へ変換し、標準の系列モデルで扱う。
- 環構造を豊富に含む118万分子のRingDivと、多様性指標RDIを導入した。
- 5生成評価でRDKit妥当性100%と良好な分布整合を報告した。
曲率を安定に近似するSoftServe、学習しにくいニューラル網を最適化
- 負の曲率がある場合でも正定値の近似を作る準ニュートン法を提案する。
- 対角・クロネッカー因子化と行列積による反復計算で大きなモデルへ対応する。
- 勾配評価数をそろえた比較で、RNNや物理情報モデルの損失を改善した。
長い映像から「見る・聴く」区間を選び直すOmniSeek
- 音声と映像を必要な時間区間だけ取得し、複数ターンで推論する。
- OmniTraj-170Kと2段階の強化学習で証拠探索を学ぶ。
- 音声と映像の両方が答えに必要な成功軌跡へ報酬を与え、片方への依存を抑える。
いつ文脈を圧縮し、どう作業を続けるかを学ぶコーディングエージェント
- 圧縮の時機、残す作業状態、圧縮後の行動を一緒に学習する。
- 誤った判断や要約を修正してから実行し、その軌跡をSFTと強化学習に使う。
- SWE-bench Verifiedで9.2ポイント、SWE-PolyBench Verifiedで5.0ポイント改善した。
同じ情報源を使うたびに理解を更新するSourceLearn、検索と記憶を補う
- 情報源の構造や解釈、使い方を持続的なソースモデルとして保持する。
- 自己点検と課題経験で不足を見つけ、更新内容は権威ある原典から再構成する。
- 5評価×3モデルの15設定中13で最高成績、Hybrid RAG比で最大22.6ポイント改善した。
キーワードだけでツール利用を認定しない、小型言語モデルの段階診断
- 緩いキーワード評価では、実際に呼び出せないモデルも高得点を得る。
- 学習例の再現と最初のトークン確率を調べ、呼び出し形式の欠落を特定する。
- 修復後も不要な呼び出しが残り、正例と負例の両方の評価が必要だった。
専門家の解答をモデルに学びやすい形へ変え、教師あり追加学習を改善
- 専門家の推論例を、基盤モデルの分布に近い表現へ段階的に変換する。
- MCMCによるサンプリングを学習前に行い、SFTの目的関数は変更しない。
- 化学、数学、自由回答の専門課題で一般化と既存能力の保持を評価する。
更新を学習した入力だけに適用し、言語モデルの忘却を抑えるLSL
- 追加学習の更新を、その分布に属する入力だけで有効にするゲートを使う。
- 過去の学習データを使わず、混合ガウスモデルで新しい入力分布を捉える。
- 1.5B〜7Bモデルと複数の追加学習段階で、以前の能力の保持を評価した。
235表・75億行の模擬企業データで、分析から業務行動まで評価するArgo-Bench
- 食品配送企業を模擬した235表・75億行のデータ倉庫で210課題を評価する。
- 問い合わせの正誤に加え、不正アカウント停止や報酬配分の結果を採点する。
- 最も強いモデルでも95点以上の課題は34.8%、平均は59.5点だった。