アーカイブ / LLM
長文を検索しながら要約するUnlimiformerを生成型モデルに適用
On The Adaptation of Unlimiformer for Decoder-Only Transformers
On The Adaptation of Unlimiformer for Decoder-Only Transformersの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of an example of the adapted decoder-only model where only a single layer (e.g., 16th) uses cross-attention. Here, T i T_{i} and G i G_{i} represent the original context and generated tokens. The cyan section encapsulates the first pass to create the indices, while the pink section illustrates the second pass to generate sequences. Note that the first chunk appears in both the input and the index by design, keeping the input the same in all variations of our experiments.
概要
- 長文を重複する区間に分け、検索を使う層ごとの索引に内部表現を保存する。
- 著者らはGovReportで、入力長1024のGPT-Summに本手法を加えると、入力長2048の同モデルと同程度だったと報告した。
- 質問応答での改善は要約より小さく、層別索引による遅延の増加も著者らが挙げる制約である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、On The Adaptation of Unlimiformer for Decoder-Only Transformersの仕組み
- 01長文文書
- 02重複区間に分割
- 03層別索引を作成
- 04検索して融合
- 05要約文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Unlimiformerは、長文から関連する内部表現を検索し、モデルが文章中の情報を参照する「注意計算」に使う手法である。長文が通常の入力上限を超えると、後半の記述を要約に使いにくくなるため、報告書や書籍を扱う際に役立つかが課題となる。
元の手法は、入力を読む部分と文章を作る部分が分かれたモデル向けだった。本研究は、文章を前から順に生成するモデルでも検索を使えるよう、索引と注意計算の扱いを変更する。
手法
長文を一部が重なる短い区間に分け、モデルに通して得た内部表現を検索用の索引に保存する。索引は、現在の文章と関連する表現を探す仕組みである。検索を使う層ごとに別の索引を作り、重複する語の表現は最初に現れた分だけ登録する。
要約を生成する際は、選んだ層で関連表現を検索し、現在の入力の表現と合わせて注意計算に渡す。例えば報告書の後半が通常の入力範囲に収まらなくても、その区間から保存した表現を検索対象にできる。生成した語の表現も各層の索引へ順次追加し、新しい語が参照対象から抜けるのを防ぐ。
新規性
著者らは、入力を読む部分と文章を作る部分が分かれたモデル向けのUnlimiformerを、文章を順に生成するモデルに適用する変更をまとめた。検索した表現と現在の入力を注意計算で融合し、検索を使う層ごとに索引を設ける。
さらに、生成した語を索引へ追加し、過去の語だけを見るモデルに合わせて長文の区間から保存する表現を変える。層別の索引自体は並行して公開された実装にもあるため、本研究だけの発案とは扱わない。
従来手法との違い
元のUnlimiformerは、入力を読む部分の表現を索引に保存し、文章を作る部分が関連する表現を検索する。生成型モデルにはその二つの部分の区切りがなく、各層は直前の層の出力を受け取る。著者らは、一つの層の表現を全層で共用すると、層が受け取る表現にずれが生じると説明する。
本研究は検索を使う層ごとに索引を作る。評価では同じ基盤モデルの入力長を1024、2048、4096、8192トークンに制限した場合と、手法を加えた場合を比べた。トークンはモデルが文章を処理する単位である。
実験結果
著者らは要約にGovReport（GAO）とBookSum、自由形式の質問応答にNarrativeQAとQasperを用いた。検証用データで設定を選び、試験用データで追加の課題別学習を行わず評価した。ただし基盤となるGPT-Summは要約用に調整済みである。要約は参照文との一致を測るROUGE-1・2・LとMETEOR、質問応答は回答の語の重なりを測るToken F1を使う。
著者らによると、GovReportでは入力長1024のGPT-Summに本手法を加えると、入力長2048の同モデルと同程度だった。BookSumでも改善し、質問応答の改善は比較的小さかった。図の具体的なスコアは確認できた本文の範囲では示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の長い調査報告書から、担当者が確認する要約案を作る。入力は報告書本文と要約依頼、出力は要約文とする。担当者が重要事項と根拠を原文で確認してから使う。
元データには対象の報告書、評価ラベルには担当者が確認した参照要約が必要になる。センサー入力は不要。要約用に調整済みの生成型モデルを前提に、重複区間の処理、層別索引、生成語の追加を適用する。追加学習用データはこの試案では用意せず、必要性は別途確かめる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：要約用に調整済みの同じ生成型モデルで、通常の入力長だけを変えた条件と、層別索引を使う条件を比べる。元データは業務の長文報告書、評価ラベルは担当者が確認した参照要約とする。センサーは使わず、索引側には重複区間の処理、検索結果の融合、生成語の追加を適用する。
文書の長さ別にROUGEとMETEORを測り、担当者が重要事項の欠落と原文にない記述を点検する。索引作成時間、生成時間、メモリ使用量も記録する。この試案では追加学習用データは用意せず、採用モデルで追加学習が必要かを先に確認する。
限界と課題
著者らは、検索に使う表現が元の入力文にも左右されるため、外部の索引を使うと期待した効果が弱まる可能性を挙げる。また、索引を増やすと遅延が増えると述べる。自由形式の質問応答で改善が小さい理由として、指示に合わせて調整したモデルが入力に強く依存する可能性も示している。
編集上の検証事項は、業務文書で要約の根拠が原文と一致するか、索引の作成時間、生成時間、メモリ使用量が許容範囲かである。これらの業務上の結果は、論文の評価からは確定できない。
出典
元のタイトル・要旨を確認する（英語）
On The Adaptation of Unlimiformer for Decoder-Only Transformers
One of the prominent issues stifling the current generation of large language models is their limited context length. Recent proprietary models such as GPT-4 and Claude 2 have introduced longer context lengths, 8k/32k and 100k, respectively; however, despite the efforts in the community, most common models, such as LLama-2, have a context length of 4k or less. Unlimiformer (Bertsch et al., 2023) is a recently popular vector-retrieval augmentation method that offloads cross-attention computations to a kNN index. However, its main limitation is incompatibility with decoder-only transformers out of the box. In this work, we explore practical considerations of adapting Unlimiformer to decoder-only transformers and introduce a series of modifications to overcome this limitation. Moreover, we expand the original experimental setup on summarization to include a new task (i.e., free-form Q&A) and an instruction-tuned model (i.e., a custom 6.7B GPT model). Our results showcase the effectiveness of these modifications on summarization, performing on par with a model with 2x the context length. Moreover, we discuss limitations and future directions for free-form Q&A and instruction-tuned models.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01