アーカイブ / LLM
注意機構のクエリを非線形にする：同規模モデルで検証損失を比較
Nonlinear Queries
概要
- 入力を直接通す経路と非線形MLPを組み合わせ、注意機構のクエリを作る線形変換を置き換える。
- OpenWebTextの59kステップ時点で、著者の表にある検証損失は通常モデル2.956、提案モデルの最良条件2.915。
- 最良条件では学習設定も異なる。要旨と表の改善率は一致せず、推論速度と用途別の品質も未検証。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Nonlinear Queriesの仕組み
- 01各語の入力表現
- 02正規化と圧縮
- 03非線形処理と復元
- 04クエリで注意を計算
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Transformerの注意機構は、文章中の各語からクエリ、鍵、値という三つの表現を作る。クエリと鍵の照合で参照先を決め、値を使って出力を計算する仕組みで、通常は三つを別々の線形変換から得る。
先行する代数的分析では、一定の条件下でクエリ側の線形変換を他の層に吸収できると示された。著者は、その位置に非線形の計算を入れ、パラメータ規模をほぼ保ったまま文章の予測結果が変わるかを調べた。
手法
各語の入力表現を正規化し、幅を半分に圧縮してからGELUという非線形の計算を通し、元の幅に戻して再び正規化する。この一連の処理がボトルネックMLPで、MLPは複数の変換を重ねる計算器を指す。処理後の表現に元の入力を足し、2で割ってクエリを作る。圧縮と復元に使う行列のパラメータ数は、置き換えた線形変換と同じである。
例えば文中の一語について作ったクエリを、各語から従来どおり線形変換で作った鍵と照合する。照合結果を使って値をまとめ、注意機構の出力を得る。元の入力を直接足す経路を残すことで、非線形処理を加えても入力表現をクエリへ渡せる。
新規性
著者は、クエリを作る線形変換を、入力を直接通す経路と小さな非線形MLPの組み合わせに置き換えた。鍵と値を作る線形変換は維持し、正規化層を除く行列のパラメータ数を元のクエリ変換と同じにしている。
先行研究は、一定の条件下でクエリの線形変換を他の層へ吸収できることを示していた。本研究は、その計算枠を非線形処理に使い、文章モデルの学習結果を比較した点に特徴がある。
従来手法との違い
比較対象は、クエリを通常の線形変換で作るNanoGPT型モデルと、クエリは線形のまま内部のMLPを広げたモデルである。後者は埋め込み以外のパラメータが約8500万から約9600万へ、12.5％増える。
提案モデルの埋め込み以外のパラメータは約8500万で、通常モデルとほぼ同じである。ただし、表で最良の提案モデルは学習率と重み減衰も通常モデルと異なる。報告された損失差を、クエリの構造変更だけによる効果とは切り分けられない。
実験結果
著者はOpenWebTextで、12層、12ヘッド、全体で約1億2400万パラメータの文章モデルを学習した。各モデルには同じ段階で同じ学習データを与え、検証損失を1000ステップごとに2400系列の平均で推定した。検証損失は、次の語の予測が正解からどれほど外れたかを表す指標で、低いほどよい。
著者の表では59kステップ時点の検証損失が、通常モデル2.956、MLPを広げたモデル2.927、提案モデルの最良条件2.915である。通常モデル比の相対改善は表では1.40％。最良条件では学習率と重み減衰も異なる。要旨の改善率2.40％とは一致しないため、ここでは条件が示された表の値を採用する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の技術文書で、書きかけの文章から続きを提示するモデルにこのクエリ構造を試す。入力は文書の前半、出力は続きの候補とし、担当者が内容を確認して採用する流れを想定する。
対象分野の文章を学習用と検証用に分けて用意し、文章から次に予測する語を作る前処理が必要だ。人手で付けた正解ラベルやセンサー入力は、この文章予測の設定では要らない。社内文書での品質向上は論文から確認できず、用途に合わせた学習と評価が必要になる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象分野の文章を学習用と検証用に分け、同じ文章、語への分割方法、学習量を使う二つの小規模モデルを用意する。一方は線形クエリ、もう一方は提案された非線形クエリとし、まず学習率などの設定をそろえて比べる。
文章から次に予測する語を正解として作るため、人手ラベルとセンサーは不要だ。検証損失に加え、提示された続きの内容を担当者が確認し、推論時間も測る。その後に学習設定を調整した比較と複数回の学習を行い、差の安定性を確かめる。
限界と課題
著者が明記した制約は、約1億2400万パラメータという単一規模での実験、複数の乱数設定による反復と体系的な学習設定の探索がないことだ。推論速度は未測定で、大規模モデルや下流タスクの評価も今後の課題としている。
編集上の検証事項は、追加した非線形処理と正規化による実測遅延、学習設定をそろえた場合の差、用途別の出力品質である。要旨には検証対数損失2.40％減、パープレキシティ6.81％減とある一方、59kステップ時点の表は検証損失1.40％減を示す。この数値の不一致も確認を要する。
出典
元のタイトル・要旨を確認する（英語）
Beyond Linearity in Attention Projections: The Case for Nonlinear Queries
Recent algebraic analysis shows that in decoder-only and encoder-only transformers, the Query projection $W_Q$ may be set to identity without noticeable performance deterioration. This is possible because attention depends on $X$ only through the products $XW_Q, XW_K, XW_V$, allowing basis transformations to be absorbed by adjacent layers and propagated through the network. We replace $W_Q \in \R^{d \times d}$ with a nonlinear residual of the form $Q(X) = X + f_θ(X)$, where $f_θ$ is a bottleneck MLP with $d^2 + O(d)$ parameters. The identity term anchors the nonlinearity to a known-good prior. Experiments on GPT-3 small style models show consistent improvement over the baseline ($2.40\%$ lower validation log-loss, $6.81\%$ lower perplexity), comfortably outperforming a model with 12.5\% more non-embedding parameters. These results motivate investigation at larger scales and across modalities.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01