新着研究 / LLM
隣接層の値キャッシュを座標調整して共有、VFoldが長文LLMの保存メモリを削減
VFold
概要
- 隣接層の値ベクトルを揃え、平均を一つのキャッシュとして保存する。
- 値キャッシュ半減、KV全体25％削減で、三モデルの長文ベンチマーク平均性能を98.3％以上保持した。
- A100の実測ではメモリは減る一方、一語あたりの生成時間は未圧縮より長い。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、VFoldの仕組み
- 01既存モデルの値状態
- 02層間の座標を整合
- 03使用後の値を平均
- 04層間で共有保存
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
VFoldは、LLMが過去の文章を参照するために保存する情報を、隣接する層で共有する。キー・バリューキャッシュ、略してKVキャッシュは過去の計算を再利用する仕組みだが、長い入力や複数利用者ではモデル本体に匹敵するメモリを使う。
層をまたいで似た情報をまとめれば容量を減らせるものの、数値をそのまま平均すると性能が落ちる。低次元へ圧縮して毎回戻す方式にも処理負担がある。研究は既存モデルの計算構造を活用し、値の座標を事前に揃える方法を検討する。
手法
まず例文から隣接層の値を集め、対応する注意ヘッドと線形変換を求める。注意ヘッドは異なる情報の参照を担当する部分であり、ヘッド内の座標変換と、その逆変換を出力側の重みへ組み込む。この事前変換だけならモデルの計算結果を保ち、生成中に専用の復元層を加える必要はない。
実行時は現在の値をそのまま注意計算に使った後、隣接層の値と平均して共有キャッシュに保存する。初めの四トークンと直近128トークンは保護する。例えば長い文書を読む場合、古い文章の値だけを共有し、現在の語の計算は未圧縮の値で行う。キーは平均せず、どの語を見るかの選択を維持する。
新規性
著者らはキーと値が似た部分空間を持っていても、平均への耐性は大きく違うと分析する。キーは参照先の重み付けを変え、値は取り出す内容を変えるため、値だけに共有を適用する設計である。
計算結果を保つ変換を既存の重みへ吸収し、値の平均時点だけで近似を入れることが特徴となる。再学習や常時の低次元復元を前提にせず、事前の整合と実行時の共有を組み合わせる。
従来手法との違い
同じKV全体25％削減で、MiniCache、値だけに適用したMiniCache-V、共通低次元表現を使うCommonKVと比較する。座標調整を除いたVFold-Naiveも含め、単なる平均と事前整合の効果を分けている。
長文性能ではVFoldが六条件中五条件で比較方式を上回る一方、MistralのLongBenchではCommonKVも未圧縮に近い。全用途で最良とする結果ではなく、モデルと課題によって共有方法の差が変わる。
実験結果
三モデルをLongBenchと16KのRULERで評価し、値キャッシュ50％削減で平均性能を未圧縮の98.3％以上保持したと著者らは報告する。Llama-3.1-8BのRULERは92.48から91.14、LongBenchは50.0から49.4となった。
A100 80GBで8,192語の入力と256語の生成を測ると、KV容量は1.11GBから0.84GB、収まる最大バッチは33から38へ増える。ただし一語の生成時間は21.0msから27.8msへ増加し、最初の語までの時間も781msから786msとなる。容量改善と高速化は同じ意味ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案は、長い設計仕様をまとめて参照する社内文書アシスタントである。入力は複数の仕様書と担当者の質問、出力は関連箇所を踏まえた回答とする。値キャッシュ共有で同時利用時のメモリ不足を減らせるかを検討する。
担当者は容量だけでなく、古い仕様や例外条件の取りこぼしを確認する。短い単発質問の速度を上げる目的より、長文入力を保ったまま同時に扱える利用者数を増やす目的に適した候補として位置づける提案である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、実際の仕様書に答えの場所が既知の質問を作り、未圧縮、座標調整なし平均、VFoldを比較する。文書長とバッチ数を変え、最大メモリ、応答開始時間、語ごとの生成時間、正答率を測る。
文書の前半と後半、複数箇所の統合を要する質問を分けて評価する。量子化やキー削減を併用する場合も単独条件から一つずつ増やし、平均値で隠れる特定の課題の劣化を点検する。容量の利点が待ち時間の増加に見合うか判断する。
限界と課題
報告の98.3％以上はベンチマーク平均の保持率で、全質問が同じ精度という意味ではない。保護するトークンがあるため実際の容量削減は入力長で変わり、事前の座標整合にも例文が必要である。
編集上の確認点は、別モデルの注意機構、非常に長い会話、日本語の専門文書への適用である。実測でも未圧縮より生成が遅くなっており、速度が主目的なら慎重な比較が必要となる。重みへの事前変換が利用する推論実装に正しく適合するかも確認したい。
出典
元のタイトル・要旨を確認する（英語）
VFold: Symmetry-Aware Cross-Layer Value Cache Compression
While caching key-value (KV) states accelerates Large Language Model (LLM) decoding, this cache can dominate memory usage at long context lengths. One solution is to compress this memory by exploiting inter-layer cache similarities. However, most existing techniques necessitate architectural changes to LLMs and incur substantial overhead. In this work, we propose a symmetry-aware value cache merging strategy that reduces cache memory while avoiding both harmful performance degradation and architectural overhead during decoding. Furthermore, we show that this approach can be exploited alongside existing cache compression techniques, composing with high-ratio quantization or key cache pruning to reach compression ratios that neither method reaches alone, with minimal additional cost. Ultimately, our findings reveal a major source of underutilized capacity in the value cache, offering a simple yet highly effective direction for scaling context windows under memory constraints.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-11