新着研究 / LLM
曲率を安定に近似するSoftServe、学習しにくいニューラル網を最適化
SoftServe
SoftServeの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure F.2: Relative QME solution error as the root and inverse iteration counts vary. Each cell is the median over three matrix seeds; all panels share a logarithmic color scale. Lower values are better. White outlines mark the default 18 root and 10 inverse iterations.
概要
- 負の曲率がある場合でも正定値の近似を作る準ニュートン法を提案する。
- 対角・クロネッカー因子化と行列積による反復計算で大きなモデルへ対応する。
- 勾配評価数をそろえた比較で、RNNや物理情報モデルの損失を改善した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SoftServeの仕組み
- 01損失と勾配
- 02正定値の曲率近似
- 03行列積で演算
- 04前処理した重み更新
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SoftServeは、損失の曲がり方を近似してニューラル網の重み更新を整える最適化法だ。単純な勾配だけでは、方向ごとに変化の大きさが極端に異なる問題で、更新が進みにくかったり不安定になったりする。
準ニュートン法は曲率を利用するが、深層学習では損失が非凸で、パラメータも多いことが障害となる。本研究は負の曲率と大規模な行列計算に対応する構成を作り、学習が難しい課題で評価する。
手法
準ニュートン法は、損失の２階の変化を表すヘッセ行列を直接求めず、その近似で勾配の方向や大きさを調整する。SoftServeは変分目的から、負の曲率がある場合も正定値の推定を導く。正定値は、更新の前処理として扱いやすい安定した性質を意味する。
対角版と、行列を小さな因子の組み合わせで表すクロネッカー因子化版を用意する。必要な行列演算は安定な連成Newton-Schulz反復で行い、高価な行列分解をGPUで扱いやすい行列積へ置き換える。例えば物理法則の残差を減らす学習で、伸び縮みが異なる勾配方向を補正しながら重みを更新する。
新規性
線探索や場当たり的な曲率補正を使わず、正定値を構成上保つ準ニュートン法を深層学習へ合わせた点が特徴だ。モデルの規模に応じて、曲率表現を構造化して計算量を抑える。
行列分解を反復的な行列積へ変える実装上の工夫も提案に含まれる。ただし最適化の反復数が少ないことと、経過時間が短いことは同じではなく、追加演算も含めて比較する必要がある。
従来手法との違い
本文はAdam、Muon、SOAP、K-FAC、K-BFGS系と比較し、決定的学習にはL-BFGSも含める。SoftServe-Iは逆ヘッセ近似を単位行列に固定した比較で、曲率を学ぶ部分の寄与を確認する。
各方法の学習率を別々に調整し、追加の勾配計算も予算に数える。SoftServeは10更新ごとに近似を更新し、確率的学習では同じバッチで追加勾配を評価するため、更新回数だけで有利に見せない比較となる。
実験結果
著者らは３つの新しい乱数条件で、同じ勾配評価予算の訓練損失を比較する。100数列から指定２位置の和を予測する小型RNNでは、SoftServe-KronのテストMSEが6.6×10のマイナス6乗、Muonは1.5×10のマイナス4乗だった。
MNISTの2.8Mパラメータ自動符号化器では全バッチで最小損失、ミニバッチではMuonに近かった。小型物理情報網の６設定中５で最小の最終損失を達成したが、固定点のWaveではAdamとAdam+L-BFGSがより低かった。136Mの物理情報拡散モデルも評価に含む。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案は、製造工程の物理モデルをニューラル網で近似する学習だ。座標、境界条件、物理法則の残差を入力する訓練で、最適化法を変更して損失と予測誤差の推移を出力する。
勾配が不安定で学習率を小さくし続けている工程に絞り、曲率による調整が改善するかを試す。最終モデルの構成を変えずに、学習方法の違いとして検証できる用途が考えられる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、既存のAdam学習が難しい１課題を選び、同じモデルとデータで比較する。各方式の学習率を調整し、追加勾配を含む評価数と経過時間の両方をそろえた結果を作る。
訓練損失、未見データの誤差、メモリ、失敗した乱数条件を記録する。対角版と因子化版を分けて測り、曲率を更新する頻度を変えた場合に、追加演算の負担に見合う改善があるか確かめる。
限界と課題
報告内でもすべての条件で最良ではなく、決定的なWave課題などにはより低損失の比較方式がある。主要比較は勾配評価数に対する損失で、実時間と予測誤差は別の評価として扱われる。
編集上の確認事項は、対象モデルでの行列積の負担、近似の精度、バッチが変わる際の安定性だ。物理情報網での優位性から、言語モデルなど別の大規模学習でも同じ効果が出るとは推定しない。
出典
元のタイトル・要旨を確認する（英語）
SoftServe: A Scalable Quasi-Newton Method for Deep Learning
Quasi-Newton (QN) methods have long been among the most effective methods for large-scale unconstrained convex optimization. Two obstacles have limited their use in deep learning: non-convexity and enormous parameter sizes. We introduce SoftServe, a family of QN methods designed to overcome these obstacles without line searches or ad hoc curvature corrections. SoftServe derives positivedefinite curvature estimates from the variational objective of Berglund et al. (2025), even in the presence of negative curvature. We develop diagonal and Kroneckerfactored variants that preserve positive definiteness by construction and scale to massive neural networks. Finally, SoftServe relies on the stable coupled Newton-Schulz iteration for the required matrix operations, replacing costly matrix decompositions with GPU-friendly matrix multiplications. SoftServe excels on problems that are severely ill-conditioned, including tasks such as recurrent networks, deep autoencoders, physics-informed neural networks, and a 136M-parameter physics-informed diffusion model, often achieving lower losses than established baselines including Adam, Muon, and SOAP.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-04