アーカイブ / LLM
隠れ層の出力の膨張を抑え、算術課題の汎化開始を早める
Activation Norm Penalty
Activation Norm Penaltyの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 4: Fourier Circuit Assembly over Training. Left : The baseline develops only weak, diffuse structural traces that never crystallize into a functional algorithm within the training budget. Center : Under the norm penalty, Fourier structure emerges progressively and systematically—low- k k modes assemble first, followed by higher modes— reaching R 2 > 0.9 R^{2}{>}0.9 coherence at epoch 4,100 (cf. Table 1 ). Right : Strong WD forces abrupt crystallization but concentrates representational energy into 2–3 dominant modes, leaving higher frequencies poorly represented.
概要
- 隠れ層の出力の大きさを、層の幅に応じた目標値へ緩やかに近づける罰則を学習損失に加える。
- 97で割った余りを求めるMLP実験では、汎化開始が強い重み減衰の15,540±1,480から2,460±136エポックになったと著者らは報告する。
- 3桁加算のnanoGPTでも汎化開始までのステップ数が減ったが、より広い業務課題での効果は示されていない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Activation Norm Penaltyの仕組み
- 01算術式と正解
- 02隠れ層の出力
- 03大きさの罰則
- 04更新後のモデル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ニューラルネットワークは算術の学習例に正答できても、初めて見る例には長く正答できず、その後に急に正答率が上がることがある。この現象は「グロッキング」と呼ばれ、規則を学んで未知の例に対応する汎化までの時間が課題になる。
著者らは、正解の確率を高める学習中に、隠れ層の出力の大きさが膨らむ点に着目した。この膨張と汎化の遅れの関係を、算術課題で調べている。
手法
予測と正解のずれを測る交差エントロピーに、隠れ層の出力の大きさが目標から外れた分の罰則を足して学習する。目標は出力の要素数の平方根で、罰則の強さは一つの係数で調整する。例えば、97で割った余りを答える式と正解を入力し、予測の誤りと出力の大きさのずれを使ってモデルを更新する。
多層パーセプトロン（MLP）では、各隠れ層で非線形変換をかける前の出力を対象に、例ごとの罰則を学習データの一組で平均する。Transformerでは、各部分層が残差経路へ足す出力に罰則をかける。残差経路とは前の層の値を次へ引き継ぐ経路であり、層を重ねた値全体ではなく、各層が足す量を対象にする。
新規性
著者らは、隠れ層の出力を大きさと向きに分け、出力が外向きに膨らむ学習過程を分析した。その分析から、入力に応じて重みの抑制が変わること、更新が向きを変える方向へ寄ること、損失の曲がり具合が小さくなることを予測している。
提案する罰則は出力の大きさを目標値へ緩やかに近づける。毎回その値に固定する正規化とは異なり、学習中の一時的なずれを許す。
従来手法との違い
重み減衰は重み全体に罰則をかける。著者らが比較したMANは隠れ層の出力を小さくする方法で、提案法は層の幅に応じた目標値からのずれを罰する。ドロップアウトも比較表に含まれる。
97で割った余りを求めるMLP実験では、強い重み減衰の汎化開始が15,540±1,480エポック、提案法が2,460±136エポックだった。この差は、表に示された学習条件での結果である。
実験結果
著者らは、97で割った余りを求める課題で学習例の割合を0.5とし、5回の試行を比較した。汎化開始はMLPで強い重み減衰が15,540±1,480エポック、提案法が2,460±136エポック、Transformerでは同順に8,000±450、5,200±400エポックだった。
3桁加算の1,000万パラメータのnanoGPTでは3回の試行で、罰則なしが22,500±1,200ステップ、提案法が9,800±600ステップと報告する。いずれも学習中の汎化開始を示す値で、実務での計算処理速度を測ったものではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：3桁の加算式に答える小型モデルの開発で、汎化開始までの学習時間を調べる。入力となる式と正解の和を組にした学習データが必要で、式は文字で与えるため追加のセンサーは想定しない。
既存モデルの隠れ層に罰則を加えて再学習し、未学習の式への予測結果を出力する。対象モデルで罰則を置く出力を特定する適応作業が必要で、業務上の計算に役立つかは別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：3桁加算の式と正解の和を組にし、学習用と未学習の評価用に分ける。入力は文字の式、正解ラベルは和で、追加センサーは使わない。同じデータ分割で罰則なしのモデルを基準として学習する。
対象モデルの隠れ層から、論文の適用箇所に対応する出力を特定し、罰則の強さを変えて再学習する。未学習の式の正答率、目標正答率までのステップ数、複数回の試行によるばらつきを比べ、学習の短縮が精度低下を伴わないか確認する。
限界と課題
著者らは、汎化への急な移行を測れるアルゴリズム課題に対象を絞り、効果の普遍性を主張していない。幾何学的な説明が、より広い学習課題にも当てはまるかは未解決としている。
編集上の検証事項は、適用先でも隠れ層の出力が膨張するか、罰則の強さで精度と学習時間がどう変わるかである。実務データを使うなら、正解ラベルの品質、例外的な入力での誤答、求める精度に達するまでの試行間のばらつきも確認したい。
出典
元のタイトル・要旨を確認する（英語）
Radial Suppression Accelerates Algorithmic Generalization: A Geometric Analysis of Delayed Generalization
Why do neural networks memorize algorithmic training data long before they generalize? We present a geometric case study demonstrating that, on tasks where generalization requires discovering structured low-dimensional circuits, the memorization-generalization delay is driven by radial inflation of hidden representations under cross-entropy optimization. We formalize a radial-angular decomposition of activation-space dynamics and derive three testable propositions: (i) that penalizing radial inflation induces anisotropic, data-dependent weight regularization; (ii) that it suppresses radial gradient energy below the isotropic random baseline, forcing predominantly angular updates; and (iii) that it biases convergence toward flatter minima. To empirically validate these propositions, we study a single-hyperparameter norm penalty that softly constrains activations to a sqrt(d)-radius hypersphere. On modular arithmetic, this penalty accelerates grokking up to 6x across MLPs and Transformers, and halves training steps for a 10M-parameter nanoGPT on 3-digit addition.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01