アーカイブ / LLM
GPT-2の重みを2の累乗に量子化し、追加学習で予測性能を回復する
Power-of-Two Quantization-Aware Training (PoT-QAT)
Power-of-Two Quantization-Aware Training (PoT-QAT)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: LLM Model illustration and parameters
概要
- GPT-2 124Mの15段階PoTでは、著者の表でパープレキシティがPTQの90からQATの30.47に下がった。
- 4ビット化による容量87.5％削減と推論速度3～10倍は見積もりであり、端末上の実測結果ではない。
- 業務での利用には、対象文章での補完品質と端末上の応答時間を、浮動小数点版・PTQ版と同条件で比べる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Power-of-Two Quantization-Aware Training (PoT-QAT)の仕組み
- 01GPT-2と文章
- 02演算間に模擬量子化
- 03PoTで追加学習
- 04量子化対応モデル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
言語モデルを端末で動かすとき、学習で得た数値である重みの保存容量と、推論時の計算量が制約になる。量子化は数値を少ないビットで表す方法だが、使える値を絞ると文章の続きを予測する性能が落ちうる。
本研究は、重みを2の累乗に制限するPoT量子化を扱う。この形式では重みを使う掛け算をビットシフトという桁をずらす操作に置き換えられる。容量と計算量の削減を見込みつつ、量子化後の性能低下を抑えることが課題となる。
手法
PoTは、重みに使う値を符号付きの2の累乗に絞る。例えばGPT-2で文章の続きを予測する際、こうして表した重みを使えば、対応する掛け算をビットシフトに置き換えられる。著者は事前学習済みのGPT-2 124MとOpenWebTextの文章を使い、量子化を考慮した追加学習を行う。
QAT（量子化考慮学習）では、モデルを基本演算のまとまりとして表し、演算間に数値の丸めを模擬する処理を入れる。丸めは通常の逆向きの学習計算で調整量を伝えにくいため、著者はSTEという近似を使い、その計算中だけ丸めを通さず調整量を伝える。学習後は信号の範囲を調べる処理を除き、模擬量子化を残したモデルに変換する。
新規性
著者が示すのは、重みを2の累乗に制限する量子化を、GPT型言語モデルの量子化考慮学習に組み込む方法である。学習中に丸めの影響を再現し、厳しい値の制限による性能低下を抑える。
文字単位モデルで通常の量子化とともに学習の収束を確かめ、GPT-2 124Mでは量子化後に調整しない方法と比べた。新規性の範囲は、この組み合わせの実装と報告された条件での検証にある。
従来手法との違い
基準は32ビット浮動小数点のGPT-2と、学習後に量子化するPTQである。PTQには量子化後の追加学習がない。提案するQATは、丸めによる誤差を学習中に模擬し、その誤差を踏まえて重みを調整する。
15段階のPoTでは、著者の表でPTQよりQATのパープレキシティが低い。通常の4ビット量子化との結果も載るが、対象はShakespeareを使った文字単位モデルの損失である。この比較からGPT-2でも通常の量子化より優れるとは言えない。
実験結果
著者はShakespeareの文章を学習80％、検証10％、試験10％に分け、文字単位モデルで通常の4ビット量子化と9段階PoTを調べた。表に示されたPoTの検証損失は、学習時点が進むにつれ1.82383から1.68218へ下がった。
GPT-2 124MはOpenWebTextで追加学習し、文脈長64、バッチサイズ12を用いた。著者の表では15段階PoTのパープレキシティ、すなわち次の語の予測の迷いを表す指標が、PTQの90からQATの30.47に下がった。生成文と参照文の意味的類似度を測るBERT-Scoreは10回の生成で評価し、浮動小数点モデルとの差の最小値を0.0019と報告する。容量の87.5％削減はビット幅に基づく見積もりである。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の短い定型文を入力すると、端末上のモデルが続きを候補として返し、担当者が採否を決める。必要な入力は書きかけの文章、出力は補完候補とする。実際の業務で使えるかは別途確かめる。
GPT-2 124Mを出発点に、利用が認められた業務文章を追加学習用に用意し、PoT-QATで文体への適応を試す。次の語の正解は文章から作れるが、候補の業務上の良否には担当者の評価ラベルが要る。センサーは使わず、人による確認を運用に組み込む。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用が認められた業務文章を追加学習用と評価用に分ける。GPT-2 124Mの浮動小数点版、15段階PoTのPTQ版、QAT版に同じ短文補完を行わせる。学習用の次の語の正解は文章から作り、評価用には担当者の採否ラベルを付ける。センサー入力は不要である。
QATで対象文体に適応させた後、候補の採用率、次の語の予測指標、保存容量、端末上の応答時間を同じ条件で記録する。品質を浮動小数点版とPTQ版に照らして確認し、見込まれる速度向上が実機でも得られるかを別に判定する。
限界と課題
著者は、学習後半に軽い過学習の兆候があると述べる。BERT-Scoreの差が最小となる時点と、検証損失が最良の時点も一致しない。より大きなモデルでの試験と、端末上での計算量の実測を今後の課題に挙げている。
編集上の検証事項：推論速度3～10倍は見込みであり、実機測定値ではない。浮動小数点モデルのパープレキシティは表中に23.73と23.167の異なる値があり、基準値の確認が必要である。業務文での品質、追加学習の負担、端末での応答時間も別に測る。
出典
元のタイトル・要旨を確認する（英語）
Power-of-Two Quantization-Aware-Training (PoT-QAT) in Large Language Models (LLMs)
In Large Language Models (LLMs), the number of parameters has grown exponentially in the past few years, e.g., from 1.5 billion parameters in GPT-2 to 175 billion in GPT-3 to possibly more than trillion in higher versions. This raises a significant challenge for implementation, especially for Edge devices. Unlike cloud computing, memory and processing power for Edge devices are very limited, which necessitates developing novel ideas to make such applications feasible. In this work, we investigate compressing weights with a special quantization that limits numbers to only power-of-two (PoT). This helps save a huge amount of memory as only exponents need to be stored, more importantly, it significantly reduces processing power by replacing costly multiplication with low cost bit shifting. To overcome performance loss due to this strict quantization, we investigate Quantization Aware Training (QAT) to enhance performance through additional training. Results on GPT-2 124M show a major enhancement for quantized PoT model after additional training, with a perplexity enhancement of 66% and BERT-Score loss to baseline GPT-2 of 1%. The memory saving is estimated to be 87.5% while the inference speed is expected to be 3-10x faster with PoT quantization versus full-precision.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01