アーカイブ / LLM / RAG
長文を要約の木にして探すRAPTORは、複数箇所を読む質問にどう効くか
RAPTOR
RAPTORの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Tree construction process: RAPTOR recursively clusters chunks of text based on their vector embeddings and generates text summaries of those clusters, constructing a tree from the bottom up. Nodes clustered together are siblings; a parent node contains the text summary of that cluster.
概要
- RAPTORは文書の断片を意味の近さでまとめ、要約を重ねた木から質問に合う文脈を探す。
- 著者らはQuALITYでRAPTORとGPT-4の正答率82.6％を報告するが、比較対象とはシステム構成も異なる。
- 実務では要約の誤り、原文への追跡可能性、文書更新時の作業量を確認する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RAPTORの仕組み
- 01長文文書
- 02断片化と類似箇所の分類
- 03要約の木を構築
- 04質問に合う文脈
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
検索拡張型の質問応答は、文書から必要な箇所を探し、その内容を言語モデルへ渡して回答を作る。短い断片だけを取る方式では、長文の離れた箇所をつなぐ質問に必要な全体像が欠けることがある。
本や長い報告書、手順書のように章をまたぐ内容を扱うなら、細部と全体の両方にアクセスできる検索の形が重要になる。RAPTORはそのために要約の階層を作る。
手法
RAPTORは文書を短い断片に分け、各断片を埋め込みという数値表現に変える。意味が近い断片を集めて要約し、その要約も再び埋め込んでまとめる。この繰り返しで、元の文章を葉、広い内容を示す要約を親とする木を作る。実験では断片を約100トークンとし、要約にはgpt-3.5-turboを使った。
質問時には質問も数値表現にし、木の各階層から近い情報を探す。論文の主な実験では全階層のノードを一緒に比較し、合計2,000トークンまで文脈を選んだ。例えば手順書の全体方針を尋ねれば要約が、具体的な手順を尋ねれば元の断片が候補になる。
新規性
RAPTORの中心は、文章の断片を意味の近さでまとめ、要約した親を重ねて木を作ることだ。元の断片から上位の要約までを検索対象にし、質問に必要な細かさの情報を選べるようにする。
隣り合う断片だけでまとめず、離れた箇所の関連も扱う。著者らは、長文をまたいで考える質問に対する検索の改善を主な貢献としている。
従来手法との違い
通常の検索拡張型の質問応答では、文書を短く切り、質問に近い断片をいくつか取り出して言語モデルへ渡す。RAPTORは、その断片に加えて複数箇所をまとめた要約も検索する。
論文はBM25やDPRなどの検索方式に木構造を加えた場合も比較した。木を付けた方式が対応する元の方式より良い結果を示しており、検索する情報の階層が差に寄与したと著者らは解釈する。
実験結果
著者らは長文の質問応答としてNarrativeQA、論文全文を問うQASPER、文章を読んで選択肢に答えるQuALITYを評価した。QASPERではRAPTORとGPT-4の組合せがF1 55.7で、DPRとGPT-4の53.0を上回った。F1は回答の一致度を測る指標である。
QuALITYのテスト集合ではRAPTORとGPT-4が正答率82.6％、表中の従来最高値は62.3％だった。これは検索法だけを替えた統制比較ではなく、システムの組合せ同士の比較である。要約の誤りは著者らの調査で約4％と報告された。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：長い社内手順書について、複数の章をまたぐ質問に回答する。入力は手順書と質問、出力は関連する原文の断片と要約、回答案である。
利用者が「例外時に誰がどの順に判断するか」と尋ねたら、複数章の関係をまとめた要約で候補を探し、原文の記述も確認して回答へ添える。要約は案内役として扱い、最終的な判断は担当者が原文と照合する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：長い手順書を数件選び、一箇所で答えられる質問と複数章を読む質問を人が作る。短い断片だけを探す現在の検索を基準に、RAPTORで選ばれた文脈と回答案を同じ質問で比較する。
正答数、原文の根拠に到達できた割合、要約に誤記がある件数を記録する。文書を更新した際の索引作成時間も測り、回答改善と維持作業の負担を合わせて判断する。
限界と課題
著者らは、要約の一部に事実にない記述が生じたと報告する。集中的に調べた範囲では約4％が軽微な誤りを含み、親の要約や質問応答への目立つ影響は見られなかったという。また、全階層をまとめて検索する方式は全ノードとの類似度計算を要する。
編集上の確認点は、手元の文書で要約が原文を正しく保つか、更新時に木を作り直す負担、回答の根拠を原文まで追えるかである。
出典
元のタイトル・要旨を確認する（英語）
RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval
Retrieval-augmented language models can better adapt to changes in world state and incorporate long-tail knowledge. However, most existing methods retrieve only short contiguous chunks from a retrieval corpus, limiting holistic understanding of the overall document context. We introduce the novel approach of recursively embedding, clustering, and summarizing chunks of text, constructing a tree with differing levels of summarization from the bottom up. At inference time, our RAPTOR model retrieves from this tree, integrating information across lengthy documents at different levels of abstraction. Controlled experiments show that retrieval with recursive summaries offers significant improvements over traditional retrieval-augmented LMs on several tasks. On question-answering tasks that involve complex, multi-step reasoning, we show state-of-the-art results; for example, by coupling RAPTOR retrieval with the use of GPT-4, we can improve the best performance on the QuALITY benchmark by 20% in absolute accuracy.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29