アーカイブ / LLM
LLM圧縮で失う知識をどう測るか――正答率、誤答への確信度、集団別の偏り
The Asymmetric Harms of LLM Compression
The Asymmetric Harms of LLM Compressionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Relative retention shift across PopQA popularity groups under different compression settings, reported in percentage points. Negative and positive RS g \mathrm{RS}_{g} indicate lower and higher relative retention than the dataset overall, respectively. Results for all methods and models are provided in Figures 14 , 15 , and 16 in Appendix A.2.1 .
概要
- 3モデルに11種類の圧縮方法を適用し、知識の保持、失った知識への回答の確信度、属性集団別の偏りを調べた。
- PopQAでは高人気群の正答率は高い一方、圧縮前を基準にした相対的な保持率は低人気群より低い傾向を著者らは報告した。
- 圧縮で新たに生じた誤答にも確信度が残る場合があり、偏りの全体値は集団別の逆向きの変化を隠し得る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、The Asymmetric Harms of LLM Compressionの仕組み
- 01圧縮前後のモデルと設問
- 02同じ設問に回答
- 03正誤と回答確率を算出
- 04群別の変化を比較
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LLMの圧縮は保存量や実行時の負担を減らすが、全体の正答率が近くても、元は答えられた事実を失うことがある。誤答に高い確信度が付けば、回答を使う側は見落としやすい。
社会的な偏りも平均値だけでは分からない。属性集団ごとにステレオタイプに沿う回答の増減が逆向きなら、全体の変化は小さく見える。導入判断には設問や集団を分けた確認が要る。
手法
圧縮前後のモデルに同じ事実質問を与え、正答と照合する。事実を人気度の高・中・低で分け、各群の圧縮後の正答率を圧縮前の値で割って保持率を求める。さらに全体の保持率との差を取り、例えば低人気群が全体よりどれだけ保持されたかを見る。
元は正答し圧縮後に誤答した設問では、回答を構成する語の確率を長さで調整して確信度を出し、別の正誤データに合わせて補正する。偏りは、ステレオタイプに沿う回答への選好を全体と属性集団別に集計する。これらは異なる観点の評価であり、各値を圧縮前後で比べる。
新規性
著者らは、3モデルに11種類の圧縮方法を適用し、知識の保持、失った知識への回答の確信度、属性集団別のステレオタイプ傾向を共通の枠組みで調べた。
知識群ごとの圧縮後の正答率を圧縮前の正答率で割り、その保持率と全体の保持率との差を「相対保持の変化」として示す。元から正答率が異なる群の変化を比較できる指標である。
従来手法との違い
基準は各モデルの圧縮前の回答である。著者らは、重みを低い数値精度で表す量子化と、重みや層を取り除く枝刈りを調べ、同じ設問で圧縮後の回答と比較した。
全体の正答率に加え、人気度別の保持率と、圧縮後に初めて誤答した例を調べる。偏りも全体値と属性集団別の値を比べるため、平均値の裏で異なる向きに動く集団を確認できる。
実験結果
著者らはLlama-3.1-8B-Instruct、Qwen-3-8B、Gemma-2-9B-itを評価した。知識にはPopQAとHead-to-Tail、偏りにはWinoBiasとBBQを使う。PopQAでは、4ビットのGPTQ・AWQ・OmniQuantの相対保持の変化は全体の保持率から5.3ポイント以内だった。
一方、N:M枝刈りでは低人気群が全体より22.7～39.5ポイント高く、高人気群が3.6～14.4ポイント低かったと著者らは報告する。確信度の補正には人気度で層別化した20対80の補正用・試験用分割を用い、結果は試験用データで算出した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程への質問に答えるLLMの圧縮候補を選ぶ。よく参照される規程と参照の少ない手順から質問を作り、元モデルと候補の回答、正誤、誤答への確信度を担当者が確認する。
必要な入力は出典文書、質問、正答ラベル、人気度の区分である。追加学習をしない評価なら学習用データやセンサーは不要だが、確信度を補正する場合は正誤ラベル付きの別データを要する。文書に合わせた質問形式と採点基準を決め、群別の変化を調べる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：出典文書から正答が確認できる質問を作り、圧縮前モデルと候補に同じ形式で入力する。担当者が正答ラベルと人気度区分を付け、全体と群別の正答率、元は正答した設問での新たな誤答件数を比べる。
追加学習をしない評価なら学習用データとセンサーは不要である。確信度を使う場合は正誤ラベル付きの補正用データと独立した評価用データを用意する。文書に合わせて質問形式と採点基準を固定し、群別の変化を候補選定の記録に残す。
限界と課題
著者らは、人気度別の知識喪失の順序がHead-to-TailではPopQAほど一貫せず、誤答への確信度もモデルと圧縮条件によって変わると報告する。性能がほぼ崩れた設定の偏り推定は信頼しにくいとしている。
編集上の検証事項は、業務文書での人気度区分と正答判定の妥当性、利用者が誤答をどう受け取るかである。確認できた本文の範囲では、末尾が途切れた集団別結果の全容と業務環境での再現性は判断できない。
出典
元のタイトル・要旨を確認する（英語）
The Asymmetric Harms of LLM Compression
Large language models (LLMs) compression reduces deployment costs, but standard aggregate metrics like perplexity and accuracy often mask underlying behavioral shifts. In this work, we systematically evaluate 3 LLMs across 11 compression methods to investigate the effects of compression on knowledge retention, model confidence, and social bias. We find that compression disproportionately reduces the relative retention of head knowledge compared to tail knowledge. Furthermore, compressed models often remain substantially confident in their incorrect answers on newly lost knowledge. Finally, we demonstrate that stable aggregate bias scores can conceal substantial, opposing shifts in stereotypical preferences across demographic subgroups. Together, these findings reveal asymmetric behavioral changes that aggregate performance measures fail to capture, highlighting the need for granular evaluation of compressed models before deployment.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01