アーカイブ / LLM / RAG
検索文書を16分の1に圧縮するPISCO、質問応答の精度を検証
PISCO
PISCOの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: PISCO substantially outperforms existing context compression methods for question answering with RAG. Shown here with Mistral-7B backbone.
概要
- PISCOは検索文書を短いベクトル列に変え、元文書を読んだ教師モデルの回答を再現するよう圧縮器と回答器を訓練する。
- 著者らが報告した5課題の平均accuracyは、16倍圧縮のPISCO-Mistralが0.68、COCOMが0.61、非圧縮のMistral-7Bが0.71だった。
- 社内資料で試す際は、実際の文書と質問を使い、非圧縮方式に対する回答精度、根拠の適切さ、回答時間を測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PISCOの仕組み
- 01検索された文書
- 02記憶トークンを付加
- 03文書ベクトルを抽出
- 04質問と共に回答生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
PISCOは、検索した文書を短い数値表現に変え、その内容を使って質問に答える手法である。検索拡張生成（RAG）は質問に関連する文書を言語モデルへ渡す方式だが、文書が増えると入力が長くなり、処理の負担や一度に読める長さの制約が問題になる。
文書を圧縮すれば入力を短くできる一方、回答に必要な情報まで失うおそれがある。PISCOは、文書を16分の1にした条件で、元の文書を読むモデルに近い回答精度を保てるかを調べる。
手法
訓練では、まず検索された文書と質問を教師モデルに渡し、手本となる回答を作る。圧縮器は各文書の末尾に「記憶トークン」という学習用の目印を付け、その位置で得られるベクトルを文書の圧縮表現として取り出す。ベクトルは、モデルが計算に使う数値の並びである。128トークンの文書を16倍圧縮する設定では、1文書を8個のベクトルで表す。
回答器は質問と複数文書の圧縮表現を受け取り、教師の回答を再現するよう学習する。これは「系列単位の知識蒸留」と呼ばれ、教師が生成した回答の単語列を手本に、圧縮器と回答器を共に調整する方法である。学習後は文書をあらかじめ圧縮しておき、質問時に検索された文書の圧縮表現から回答を生成できる。
新規性
PISCOの主な工夫は、文書圧縮のための事前学習を行わず、元の文書を読んだ教師モデルの回答を学習目標にする点にある。人手で正解を付けた質問応答データは使わない。
圧縮器と回答器を共に調整し、質問に必要な情報を短いベクトル列から読み取れるようにする。著者らは、文書を16分の1にした条件で精度を評価している。
従来手法との違い
比較対象には、文書を圧縮せずに読む基盤モデルと、既存の圧縮手法COCOMがある。表に示されたMistral系の比較では、COCOMとPISCOはいずれも16倍圧縮で、検索文書5件を用いている。
両手法は文書をモデル内部の数値表現へ変えるが、PISCOは圧縮器の事前学習を省き、教師が生成した回答で圧縮器と回答器を訓練する。表には基盤モデルや圧縮率が異なる手法もあるため、数値を一律に比較することはできない。
実験結果
著者らは、Wikipedia-KILTの文書に基づく45.3万件の質問で訓練し、各質問に検索文書5件を使った。ASQA、HotpotQA、NQ、TriviaQA、PopQAでは、正規化した正解が予測文中に含まれるかを判定するaccuracyを報告している。
5課題の表中平均は、16倍圧縮のPISCO-Mistralが0.68、同じ圧縮率のCOCOMが0.61、非圧縮のMistral-7Bが0.71だった。別の効率測定では、A100上で128トークンの質問と各128トークンの文書5件から32トークンを生成し、著者らは非圧縮の0.26秒に対しPISCO-Mistralの0.06秒を報告した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内手順書を検索し、担当者の質問に答える場面で試す。入力は質問と検索された手順書の該当箇所、出力は回答文と参照文書の識別子とする。識別子の提示は運用上の要件であり、PISCO自体の根拠提示性能は示されていない。
必要な学習データは利用可能な手順書と、その内容についての練習用質問、教師モデルが文書を読んで作る回答である。人手の正解ラベルや追加センサーは学習の前提とせず、文書の分割と検索方法を社内資料に合わせて調整する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用可能な社内手順書を区切り、その内容に基づく練習用質問を用意する。教師モデルに元文書から回答を作らせ、小規模に学習する。必要な学習用入力は文書と質問、学習目標は教師の回答で、追加センサーは使わない。
同じ質問と検索結果を非圧縮の回答器にも渡し、基準とする。評価用には担当者が確認した正解と根拠文書を別途用意し、回答の一致率、根拠の適切さ、回答時間を比べる。文書の区切り方、検索件数、教師回答の品質を確認し、差が出た質問を記録する。
限界と課題
著者らは、検索文書5件で訓練したPISCO-Solarについて、NQとHotpotQAで文書数を増やすと、20件を超えた後に精度が徐々に下がると報告する。未知の言語での低下が圧縮と回答生成能力のどちらに由来するかは、追加分析が必要としている。
編集上の検証事項は、社内用語への対応、教師が作る回答の誤り、圧縮後の根拠追跡である。推論速度には本文の「5.7倍」と、表の0.26秒対0.06秒という異なる記述がある。導入前には測定条件をそろえて確認したい。
出典
元のタイトル・要旨を確認する（英語）
PISCO: Pretty Simple Compression for Retrieval-Augmented Generation
Retrieval-Augmented Generation (RAG) pipelines enhance Large Language Models (LLMs) by retrieving relevant documents, but they face scalability issues due to high inference costs and limited context size. Document compression is a practical solution, but current soft compression methods suffer from accuracy losses and require extensive pretraining. In this paper, we introduce PISCO, a novel method that achieves a 16x compression rate with minimal accuracy loss (0-3%) across diverse RAG-based question-answering (QA) tasks. Unlike existing approaches, PISCO requires no pretraining or annotated data, relying solely on sequence-level knowledge distillation from document-based questions. With the ability to fine-tune a 7-10B LLM in 48 hours on a single A100 GPU, PISCO offers a highly efficient and scalable solution. We present comprehensive experiments showing that PISCO outperforms existing compression models by 8% in accuracy.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01