アーカイブ / LLM
EdgeInfinite：長文の中間部分を圧縮し、端末向けLLMの記憶量を抑える方法
EdgeInfinite
EdgeInfiniteの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The overall framework of EdgeInfinite: illustrating the computation process of the attention layer in Transformer-based LLMs, with LLaMA Attention Touvron et al. (2023) ; Grattafiori et al. (2024) as an example.
概要
- 長い入力の中間部分を圧縮メモリに蓄え、学習したゲートで現在の区間の情報と組み合わせる。
- 著者らのLongBench評価では、21課題の表中平均スコアがEdgeInfiniteで25.71、FullKVで24.20だった。
- 単一文書QAの区分平均はFullKVを下回り、正確な情報の取り出しには個別の検証が必要だ。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、EdgeInfiniteの仕組み
- 01長文入力
- 02中間部分を区間分割
- 03過去情報を圧縮
- 04ゲートで情報を合成
- 05応答文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
EdgeInfiniteは、長い入力を扱う際に増える計算量と記憶量を抑える方法だ。Transformerの注意計算は語の数に対して二乗の割合で重くなり、過去の計算結果を保存するKVキャッシュも文脈が延びるほど増える。メモリが限られる端末では負担になる。
キャッシュから語を捨てる方式では、後の対話や長い出力で必要な情報まで失う恐れがある。著者らは既存のTransformerを使い続けながら、古い情報を圧縮して参照する構成を検討した。
手法
長い入力では冒頭の語と直近の語をKVキャッシュに残し、その間を区間に分けて圧縮メモリへ蓄える。区間内では注意計算を行う。これは現在の語を処理するとき、同じ区間のほかの語から使う情報を求める処理だ。現在の区間からは圧縮済みの過去情報も参照する。
学習したゲートが、区間内の情報とメモリから取り出した情報を重み付けして合成し、応答生成に渡す。例えば長い議事録への質問では、冒頭と直近の語を残し、その間を圧縮して回答に使う。生成が進んで区間が一定の長さに達するとメモリを更新する。短い入力では圧縮経路を使わず、元の注意計算を行う。
新規性
著者らの提案は、既存のTransformerに圧縮メモリと学習可能なゲートを加え、区間内の情報と過去の情報を組み合わせることだ。実験では基礎モデルの重みを更新せず、全重みの0.15％に当たるゲート部分だけを学習した。
推論時には冒頭と直近の語を圧縮せず保持し、長い入力では中間部分を圧縮する。短い入力は元の注意計算に切り替える。「無限文脈」という名称は、任意の長さで精度を保証する意味ではない。
従来手法との違い
比較対象は、全履歴をKVキャッシュに残すFullKVと、キャッシュを削減するSnapKV、PyramidKV、StreamingLLMである。KVキャッシュとは、生成中に過去の語について計算した情報を保存する領域を指す。
EdgeInfiniteは冒頭と直近の語を残し、中間の履歴を圧縮メモリに移す。LongBenchで保持したKVキャッシュは平均約1524語分、三つの削減手法は各2048語分に設定された。表のスコアは同一キャッシュ量で得た結果ではない。
実験結果
著者らはBlueLM-3Bを基礎モデルとし、要約や文章生成など約10万件の例でゲートを2エポック学習した。区間長は2048語、保持する冒頭は300語、直近は200語に設定した。LongBenchの単一・複数文書の質問応答、要約など計21課題で比較した。
表中の全課題平均スコアはEdgeInfiniteが25.71、FullKVが24.20だった。複数文書QAの区分平均は24.17対18.89、単一文書QAは23.50対30.05である。著者らはメモリ使用量と最初の出力までの時間も改善したと報告するが、確認できた本文の範囲では該当図の数値や表中スコアの個別指標を確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の長い手順書を読ませ、担当者の質問への回答を作る。入力は版を特定した手順書本文と質問、出力は回答文と人が照合する参照箇所候補とする。参照箇所の提示は論文で実証された機能ではなく、別途設計が必要だ。
必要な元データは利用可能な手順書と長文の質問応答・要約例で、評価用には正答と根拠箇所のラベルを付ける。入力は文章なので追加センサーは不要。文書の区切り方や回答形式を調整し、業務文書でゲートの追加学習が必要か確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用可能な長い手順書を集め、正答と根拠箇所をラベル付けした質問群を作る。ゲートの調整を試す場合は、長文の質問応答や要約を含む学習例も用意し、業務文書への追加学習の要否を調べる。必要な入力は文章で、追加センサーはない。
同じ基礎モデルについて、全履歴を保持するFullKV設定を基準に、圧縮メモリを使う設定と同じ質問・入力長で比べる。回答の正否、根拠箇所の一致、メモリ使用量、最初の出力までの時間を測る。中ほどの数値や条件を問う例も含める。
限界と課題
著者らは、圧縮によって過去のKV情報の精度が落ち、正確な答えを求める単一文書の質問応答で弱くなると説明する。LongBenchの当該区分の表中平均スコアはEdgeInfiniteが23.50、FullKVが30.05だった。
編集上の検証事項は、文書の中ほどにある数値や条件を正確に取り出せるか、文書更新後も答えが合うかである。著者らはメモリ使用量と最初の出力までの時間の改善を述べるが、確認できた本文の範囲では図の数値を読み取れない。対象端末で再測定したい。
出典
元のタイトル・要旨を確認する（英語）
EdgeInfinite: A Memory-Efficient Infinite-Context Transformer for Edge Devices
Transformer-based large language models (LLMs) encounter challenges in processing long sequences on edge devices due to the quadratic complexity of attention mechanisms and growing memory demands from Key-Value (KV) cache. Existing KV cache optimizations struggle with irreversible token eviction in long-output tasks, while alternative sequence modeling architectures prove costly to adopt within established Transformer infrastructure. We present EdgeInfinite, a memory-efficient solution for infinite contexts that integrates compressed memory into Transformer-based LLMs through a trainable memory-gating module. This approach maintains full compatibility with standard Transformer architectures, requiring fine-tuning only a small part of parameters, and enables selective activation of the memory-gating module for long and short context task routing. The experimental result shows that EdgeInfinite achieves comparable performance to baseline Transformer-based LLM on long context benchmarks while optimizing memory consumption and time to first token.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01