アーカイブ / LLM / VLM
長い入力のトークンを減らす――データ中心の圧縮をどう評価するか
Data-Centric Compression
Data-Centric Compressionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The evolution of AI efficiency: from model-centric to data-centric compression. From 2022 to 2024, AI model performance gains mainly came from scaling model size , directing efficiency research towards model-centric compression . By mid-2024, with model sizes approaching 1000B parameters, their growth has slowed down . Consequently, the focus has shifted to expanding context length to further enhance model capabilities. This paradigm shift necessitates a transition to data-centric compression , emphasizing context length reduction for model efficiency.
概要
- 既存のトークン圧縮を、圧縮対象の判定と削除・統合の二段階で整理した立場表明である。
- 長い入力での注意計算は負担が増えるが、理論上の計算量削減は実際の待ち時間の改善率を示さない。
- 著者らは注意スコアの位置の偏りや情報損失を課題に挙げる。本稿独自の実験数値は確認できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Data-Centric Compressionの仕組み
- 01入力トークン列
- 02重要度・重複を採点
- 03削除・統合
- 04短いトークン列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
長い文章、高解像度画像、長時間動画では、モデルが処理する「トークン」が増える。トークンは入力を分けた処理単位で、通常のTransformerの「注意機構」、すなわち系列内の要素同士の関係を調べる計算は、系列長の二乗に応じて増える。
モデルの重みを小さくするだけでは、長い入力そのものは短くならない。本稿は、学習や推論で処理するトークン数を減らす「データ中心の圧縮」を、入力が長くなる際の効率化策として整理する。
手法
著者らが整理する既存手法は、まず各トークンの重要さや重複を評価し、次に削除するか、似たものをまとめるかを決める。例えば長文のトークン列なら、評価に基づいて情報量が少ないと判定した部分を取り除き、残った短い系列をモデルに渡す。「系列」はトークンの並びを指す。
評価には、追加の学習可能な部品や学習済みの部品を使う方法と、モデル内部の注意スコアやトークン間の類似度を使う方法がある。統合では似たトークンを重要度に応じた重みで組み合わせる。この二段階は既存手法を比較する枠組みであり、単一の実装手順を指定するものではない。
新規性
本稿の主張は、効率化の対象をモデルの構造や重みだけでなく、学習・推論で処理する入力にも広げることにある。三つの対象を共通の枠組みで示し、長い系列を扱う際のトークン圧縮の位置付けを明確にした。
新しい圧縮アルゴリズムの提案ではなく、既存手法を「圧縮するトークンの判定」と「削除・統合の方法」で整理した立場表明である。計算負担だけでなく、圧縮後の情報損失や比較方法も論点にしている。
従来手法との違い
モデル中心の圧縮には、重みを間引く枝刈り、重みの数値精度を下げる量子化、大きなモデルの知識を小さなモデルへ移す蒸留などがある。これらが主にモデル側を変えるのに対し、データ中心の圧縮は処理するトークン数を減らす。
著者らは、通常のTransformerでは長い系列の注意計算が系列長の二乗に応じて増える点を根拠に、入力側の圧縮を重視する。両方の圧縮は併用可能と位置付けており、一方が常に優れるという実測比較は示していない。
実験結果
本稿は立場表明と既存研究の整理である。確認できた本文の範囲では、本稿独自のデータセット、評価分割、精度指標、測定条件を伴う実験結果は示されていない。著者らは既存研究の比較を踏まえ、注意スコアに基づく方法がランダムな削除やプーリングを下回る場合があると述べるが、該当する数値は確認できない。
著者らが示す、系列長を短くした場合の計算量やメモリ量の関係は、通常のTransformerなどを前提とする理論上の見積もりである。実行時間の改善率を測った結果ではない。画像内の位置を特定する課題ではRefCOCOに言及するものの、具体的なスコアや比較条件は読み取れない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程への質問回答で、検索した規程を回答モデルに渡す前に圧縮する。入力は版を固定した規程と質問、出力は根拠箇所を示す回答とし、検索、圧縮、回答の順に処理する。
必要な元データは利用を認められた規程文書で、評価には質問と正解の根拠箇所・回答のラベルが要る。センサーは使わない。文書の形式に合わせて分割単位と残す情報の基準を調整し、条項番号や例外条件が保持されるかを確かめる応用案である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：版を固定した社内規程と、正解の根拠箇所・回答を付けた質問を用意する。文書をそのまま渡す方式を基準に、同じ検索結果を圧縮して渡す方式と比べる。元データは規程文書、評価用ラベルは根拠箇所と回答で、センサーは不要である。
圧縮率を変え、根拠条項の保持、回答の正確さ、入力トークン数、圧縮を含む待ち時間を記録する。文書に合わせて分割単位と削除・統合の基準を調整し、例外条項が落ちる設定を特定する。圧縮器を追加学習する方式なら、学習用データと必要なラベルを別途用意する。
限界と課題
著者らは、重要度の判定に使う注意スコアに位置の偏りがあり得ると指摘する。画像内の位置特定、文字が密集した文書、音声認識・翻訳などでは、削除や統合による情報損失も課題に挙げる。
編集上の検証事項は、導入先の文書で例外条項や表の数値が落ちないか、圧縮処理を含む待ち時間が短くなるかである。著者らも演算回数や圧縮率と実際の待ち時間のずれを論じており、理論上の計算量削減を業務上の速度改善と同一視できない。
出典
元のタイトル・要旨を確認する（英語）
Shifting AI Efficiency From Model-Centric to Data-Centric Compression
The advancement of large language models (LLMs) and multi-modal LLMs (MLLMs) has historically relied on scaling model parameters. However, as hardware limits constrain further model growth, the primary computational bottleneck has shifted to the quadratic cost of self-attention over increasingly long sequences by ultra-long text contexts, high-resolution images, and extended videos. In this position paper, \textbf{we argue that the focus of research for efficient artificial intelligence (AI) is shifting from model-centric compression to data-centric compression}. We position data-centric compression as the emerging paradigm, which improves AI efficiency by directly compressing the volume of data processed during model training or inference. To formalize this shift, we establish a unified framework for existing efficiency strategies and demonstrate why it constitutes a crucial paradigm change for long-context AI. We then systematically review the landscape of data-centric compression methods, analyzing their benefits across diverse scenarios. Finally, we outline key challenges and promising future research directions. Our work aims to provide a novel perspective on AI efficiency, synthesize existing efforts, and catalyze innovation to address the challenges posed by ever-increasing context lengths.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01