アーカイブ / LLM
KVキャッシュを削っても答えられる理由と、約90％削除時に起きる失敗
Understanding the Physics of Key-Value Cache Compression for LLMs through Attention Dynamics
Understanding the Physics of Key-Value Cache Compression for LLMs through Attention Dynamicsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Comparison of traditional versus synthetic evaluation frameworks for KV cache compression. Existing benchmarks (left) primarily report coarse-grained task accuracy, whereas our synthetic, controlled framework (right) probes structural reachability, routing collapse, and semantic fragility under compression.
概要
- 著者らは、KV項目の保存、回答に必要な語への到達、回答への利用を分けて評価し、GERで重要語の全ヘッドからの消失を測った。
- LLaMA系2モデルとQwen系3モデルの合成課題で、約90％の削除付近に幻覚的な回答の急増とGER上昇の関連を報告した。
- 実務適用には、削除なしを基準とし、正答率に加えて根拠箇所、根拠のない断定、KV使用量を確認する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Understanding the Physics of Key-Value Cache Compression for LLMs through Attention Dynamicsの仕組み
- 01合成文と正答付き質問
- 02語の重要度を推定
- 03KV項目を削除
- 04質問に回答
- 05正答と参照を分析
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
長い文章をLLMに読ませる際、過去の語を再計算せず参照するために、鍵と値の組をKVキャッシュへ保存する。保存量は文章の長さに応じて増えるため、推論時の記憶容量を圧迫する。語を削れば容量は減るが、回答に必要な情報を使えるかは別に確かめる必要がある。
注意機構は、現在の語が過去のどの語を参照するかを決める仕組みでもある。根拠の取り違えが問題になる文書質問応答では、最終回答の正誤に加え、必要な語への参照が保たれるかが関係する。
手法
著者らは、架空の人物と属性を結び付けた文章を生成または定型文から作り、正答付きの質問を用意した。例えば人物の勤務先と居住地を文中の別の位置に置き、削除後も正しく答えられるかを調べる。KV項目の重要度は、各語が参照されると予想される強さから推定し、FINCHまたはAdaKVで推論時に削る。
ヘッドとは、参照先を並行して選ぶ注意機構の単位である。質問を削除前に見せる条件と見せない条件を分け、回答の成績に加えてGERを測る。GERは、答えに必要な語が全ヘッドで削除された割合を表す。ヘッド間で参照先がどれほど一致するかも調べ、語の保存と実際の利用の違いを分析した。
新規性
著者らは、KVキャッシュ圧縮を、保存された情報量だけでなく、回答に必要な語へ注意機構が到達し、利用できるかという三つの観点で調べた。答えに必要な語が全ヘッドから消えた割合を示すGERも導入している。
さらに、語そのものが消える「表現の消失」と、語が残っても複数の参照先を使い分けにくくなる「表現の硬直」を区別した。正答率だけでは見えにくい内部の変化を捉える試みである。
従来手法との違い
従来の長文評価は、KVキャッシュの削減率と最終回答の成績を主に測る。著者らは、回答が正しくても内部の参照経路が変わり得るとして、合成文の正答に加え、重要語の消失や注意の向け先を調べた。
削除方式には、文書を連続した区間に分けて各区間で語を削るFINCHと、ヘッドをまたいで重要度を順位付けするAdaKVを用いた。質問を削除後に渡す条件と、候補質問を先に渡す条件も比較した。
実験結果
著者らは、LLaMA系2モデルとQwen系3モデルを追加学習せずに評価し、KV項目の削除率を10％から最大90％まで変えた。合成課題は7種類で、複数人物の追跡、同一人物への反復言及、代名詞の照応、離れた記述を結ぶ多段階の質問などを含む。表に示された文章数は各課題で100～8000件、質問数は1000～72000件である。
著者らは、中程度の削除で内部表現が傷んでも正答成績はおおむね保たれ、約90％の削除付近では幻覚的な回答が急増し、GERの上昇と強く関連したと報告する。生成には貪欲復号を用い、回答はトークン単位で評価した。確認できた本文の範囲では結果表の数値がなく、課題別F1や方式間の差は示せない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程を参照する質問応答で、KVキャッシュの削除設定を検証する。入力は利用可能な規程本文と条項をまたぐ質問、出力は回答、根拠条項、回答できない場合の判定とする。文書を先に読み込む運用に合わせ、質問を渡す順序も固定する。
追加学習用データやセンサーは想定しないが、検証には実際の規程と、正答・根拠・回答不能を付けた質問が要る。規程の文書形式と質問形式を対象モデルに合わせて整え、根拠が残っているのに誤答する例を確認する。改善は検証対象の仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用可能な社内文書から質問を選び、正答、根拠箇所、回答不能のラベルを人手で付ける。入力は文書と質問で、追加学習用データやセンサーは不要とする。文書の分割、投入順、質問形式を実運用に合わせて整え、条件間で固定する。
削除なしを基準に、削除率を段階的に変えて同じ質問を実行する。正答率、根拠箇所の一致、根拠のない断定の件数、KV使用量を記録し、質問を削除前に見せる設定と見せない設定を分ける。誤答を人が確認したうえで、対象業務に許せる設定を判断する。
限界と課題
著者らは、圧縮による失敗として重要語の全ヘッドからの消失と、語が残っていても参照先の選択が硬直する現象を報告する。約90％の削除付近での急な悪化は、評価したモデルと合成課題での観察であり、著者らは到達可能性の転換点と解釈している。
編集上の検証事項は、実文書でも同様の変化が起きるか、質問の提示順や削除方式で許容範囲がどう変わるかである。確認できた本文の範囲では結果表の数値を確認できず、方式間の優劣や実務で使える削除率は決められない。
出典
元のタイトル・要旨を確認する（英語）
Understanding the Physics of Key-Value Cache Compression for LLMs through Attention Dynamics
As context windows in LLMs scale to 100K+ tokens, the key-value (KV) cache becomes the dominant memory bottleneck, with recent methods claiming 80-90% savings and minimal benchmark degradation. We argue these evaluations miss a structural issue: attention is not just storage but routing, and retaining KV pairs does not guarantee semantic accessibility. We propose a physics-inspired view of KV compression as a controlled perturbation of token-level routing, distinguishing retention, accessibility, and utilization. Using synthetic tasks probing multi-entity tracking, disambiguation, coreference, and multi-hop reasoning, we find that moderate compression degrades internal representations with little accuracy loss, revealing redundancy; all models exhibit a sharp hallucination safety cliff near 90% compression, correlated with spikes in Global Eviction Ratio (GER), suggesting a phase transition in semantic reachability; and architectures differ in routing dynamics, with LLaMA showing early consensus and late diversification, and Qwen showing funnel-like late convergence, leading to distinct resilience profiles. Beyond erasure, we identify representational rigidity, where excessive head-level consensus collapses routing flexibility despite token survival. These results suggest sparse token-route structures govern compression tolerance, reframing KV compression as a structural probe of attention geometry and linking long-context scalability to sparsity and the lottery ticket hypothesis in self-attention.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01