アーカイブ / LLM
長文で注意の重みが薄まる問題に、二つの倍率で取り組む
InfoScale and CosScale
InfoScale and CosScaleの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Visualization of spectral clustering with stratified 10 samples as test set. (a) Distribution of 2D PCA features for different samples. (b) Clustering results. (c) Sample distribution obtained through stratified random sampling.
概要
- InfoScaleは、長文でも注意重みの情報エントロピーを一定に保つ条件から導かれた倍率である。
- CosScaleは余弦型注意の倍率で、著者らは値を大きくしたときの注意の集中を分析した。
- GAU-αを使った著者らの評価では、4,096トークン時のPoSEに両手法を加えた設定が、CosScaleのみの設定よりPPLとACCで良い値を示した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、InfoScale and CosScaleの仕組み
- 01長文の語列
- 02語間の注意スコア
- 03倍率を調整
- 04伏せた語の予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
InfoScaleとCosScaleは、学習時より長い文章を処理する「長さ外挿」のために、注意の計算に使う倍率を調整する。注意とは、ある語を処理するとき、他の語をどの程度参照するかを決める仕組みである。
文章が長くなると参照先が増え、元からある重要な語への注意重みが薄まることがある。長い文書の離れた箇所にある情報を使う場面では、この変化が予測に影響するため、著者らは重みの広がりに着目した。
手法
InfoScaleは、注意重みの広がりを表す情報エントロピーが、文章の長さによらず一定になるよう導いた倍率である。モデルが学習した系列長と処理中の系列長を使い、語どうしの表現の内積から得る注意スコアに適用する。導出には、語の表現の分布などについての仮定と近似が含まれる。
CosScaleは、語の表現が向く方向の近さを示す余弦類似度を用いた注意の倍率である。たとえば特許文中の語を伏せて予測する場合、モデルは周囲の語との注意スコアから参照の重みを作る。併用設定では、余弦型注意の倍率にCosScaleを用い、InfoScaleも注意の倍率に反映して、伏せた語を予測する。
新規性
InfoScaleは、注意重みの情報エントロピーを系列長が変わっても一定にするという条件から、内積型注意の倍率を近似的に導く。著者らは追加学習を要しない方法として提案した。
CosScaleについては、余弦型注意の倍率を大きくしたときの振る舞いを理論的に分析した。著者らは、倍率を大きくすると窓型注意に近づくと述べ、InfoScaleとの併用も評価している。
従来手法との違い
著者らは、位置情報の扱いを変えるPIやYaRN、参照範囲を制限するStreamingLLM、追加学習を伴うPoSEなどを比較対象にした。InfoScaleは内積型注意の倍率を系列長に応じて変え、CosScaleは余弦型注意の倍率を調整する。
表に示された4,096トークンでのStreamingLLMはPPL 5.42、ACC 0.67で、両手法を組み込むと4.83、0.70だった。ただし、著者らは512トークン未満では既存手法が上回る場合もあると記している。
実験結果
著者らは、4,000トークン超の文書に絞ったWanjuan Patent Datasetで、GAU-αによる伏せた語の予測を評価した。学習では語の15％を無作為に伏せ、設定上の最大系列長は64。指標は予測の不確かさを示すPPL（低いほどよい）と、伏せた語の正解率ACC（高いほどよい）である。
著者らの表では、4,096トークン時のPoSEにCosScaleを加えるとPPL 22.03、ACC 0.41、両手法を加えると18.41、0.44だった。4,096は設定上の学習最大長64の64倍に当たる。確認できた本文の範囲では、データ分割の詳細は付録参照である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：権限を確認した社内の長い特許文書で、伏せた専門語を文脈から補う試作を行う。入力は特許本文と伏せる位置、出力は予測語と元の語との一致結果とする。学習や調整に使う文書本文を確保し、正解ラベルは伏せる前の語から作る。追加センサーは不要である。
対象モデルの注意機構に合わせて倍率の計算を組み込み、文書長ごとに予測結果を調べる。業務文書での有効性は、この試作で確かめるべき仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用権限を確認した特許本文を学習・評価用に分け、一部の語を伏せて元の語を正解ラベルにする。追加センサーは不要。対象モデルの注意機構を確認し、倍率を変えない基準設定と、InfoScaleのみ、CosScaleのみ、両者併用の設定を用意する。
同じ文書分割と伏せる位置で、文書長別のACCとPPLを測る。短い文書での悪化も長い文書での変化も記録し、業務上必要な長さで差が再現するかを確かめる。倍率の基準となる学習時の系列長は、実装前に確認する。
限界と課題
著者らは計算資源の制約から評価をGAU-αに限ったと述べる。また、InfoScaleの導出で置いた、語の表現が一定半径の超球面上にあるという仮定は、学習後の内積型注意では厳密に成り立たない可能性を挙げている。
編集上の検証事項：実験設定には学習時の最大系列長を64とする記述がある一方、結果の説明には元のGAU-αが512で学習されたとある。倍率の基準長を再現するには、この関係を確認する必要がある。別のモデルや実際の文書処理での効果も、この結果からは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Information Entropy Invariance: Enhancing Length Extrapolation in Attention Mechanisms
Since the emergence of research on improving the length extrapolation capabilities of large language models in 2021, some studies have made modifications to the scaling factor in the scaled dot-product attention mechanism as part of their proposed methods without rigorous theoretical justifications. To fill this gap, we propose two new scaled temperatures based on information entropy invariance to enhance length extrapolation. First, a training-free method InfoScale is designed for dotproduct attention, and preserves focus on original tokens during length extrapolation by ensuring consistent entropy. Second, we theoretically analyze the impact of scaling (CosScale) on cosine attention. Experimental data demonstrates that combining InfoScale and CosScale achieves state-ofthe-art performance on the GAU-α model with a context window extended to 64 times the training length, and outperforms seven existing methods. Our analysis reveals that significantly increasing CosScale approximates the Windowed Attention, and highlights the significance of attention score dilution as a key challenge in long-range context handling. The code and data are available at https://github.com/HT-NEKO/ Information-Entropy-Invariance.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01