アーカイブ / LLM / RAG
文書を質問ごとの表に変換し、抽出ミスを検出するReDD
ReDD
概要
- 質問に必要な表と、文書間の情報を結び付ける列を動的に発見する。
- 言語モデルの内部状態を使う判定器で抽出ミスを探し、再抽出や人の確認につなぐ。
- 著者らは、直接抽出で最大30％だった行の誤り率を1％未満に下げたと報告する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ReDDの仕組み
- 01質問と文書群
- 02表の構造を発見
- 03行の抽出と訂正
- 04集計用の表
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
報告書のような文章から「地域別の平均費用」を計算するには、対象、金額、地域を表の列として取り出し、別々の文書に現れる同じ対象を結び付ける必要がある。回答に関連しそうな文書を数件探すだけでは、集計対象の取りこぼしに気付きにくい。
ReDDが扱うのは、表の構造が事前に決まっていない文書群だ。どの列が必要かに加え、表同士をつなぐ列も質問に応じて決めることが重要になる。
手法
ReDDは質問と、意味の切れ目で分けた文書片を受け取る。まずISDが、質問に答えるための表と列を文書片を見ながら更新する。例えば「ニューヨークの病院での病気別平均治療費」なら、治療費と病名の表だけでなく、病院名を手掛かりに所在地を結び付ける表も必要になる。
次にTDPが各文書片の内容に合う表を選び、列の値を抽出して行にする。言語モデルの内部状態とは、文章を処理する途中の数値表現で、ReDDはこれを使う小さな判定器で値や表の割り当ての誤りを探す。疑わしい結果は再抽出または人の確認に回し、集計に使う表を得る。
新規性
ReDDの特徴は、質問に必要な表の構造を文書から見つける工程と、値を埋める工程を一つの流れにした点にある。表同士を結び付ける項目も探すため、質問文に直接書かれていない病院名のような列を扱える。
抽出後は、言語モデルの内部状態から作った判定器で誤りの疑いを調べる。著者らはSCAPEについて、設定した範囲の誤りを検出する統計的な保証と、確認作業の費用を抑える性質を主張している。
従来手法との違い
RAGは関連文書を探して回答を生成する方式だが、著者らは、複数文書に散らばる行を漏れなく集めて集計する用途では、取りこぼしや同一対象の照合が課題だと指摘する。既存のText-to-SQLや情報抽出には、表の構造を事前に与える方式もある。
ReDDは質問ごとに表を組み立て、文書片から行を抽出する。誤り検出でも、内部状態に基づく判定器の単純な多数決や、判定器間の不一致を見る方式に対し、SCAPEで検出範囲と確認費用の調整を狙う。
実験結果
著者らは複数分野のデータで、誤って埋められた行の割合を評価した。難しいデータでは言語モデルによる直接抽出の誤り率が最大30％だったのに対し、ReDDの訂正手法を用いると1％未満に下がったと報告する。
表の構造については、質問に必要な要素を拾う再現率が100％で、適合率も高いと述べる。ただし、この数値だけでは対象文書ごとの確認作業量や、個別の集計結果の誤差は分からないため、利用先では別に測る必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内に分散した設備点検報告から、拠点別の故障件数を集計する。入力は「先月、拠点ごとの対象設備の故障は何件か」という質問と、点検記録・拠点一覧の文書群。出力は設備と拠点を対応付けた表と、確認済みの集計値とする。
担当者は抽出された設備名、拠点名、日付を原文と照合し、誤りの疑いがある行を優先して直す。その後、同じ拠点を指す表記を結び付けて集計する運用を想定する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：答えを人手で確定した点検報告を少数選び、拠点別件数を問う質問を用意する。比較対象は、同じ文書片から言語モデルで直接値を抽出し、事前に決めた表へ入れる手順とする。
両手順で、必要な列の取りこぼし、誤った行の割合、拠点名の結合ミス、最終集計の差を記録する。さらに再抽出回数と人が確認した行数を測り、誤りの減少に見合う作業量か判断する。
限界と課題
著者らは、文書片を一つずつ処理する抽出工程では、後から得た全体の文脈で先の判断を修正できず、誤った値や表への割り当てが起こり得ると説明する。誤りの疑いを広く拾えば、正しい値まで人が確認する費用も増える。
導入時の確認事項は、対象文書で表の結合に必要な名称を拾えるか、見落とした行が集計結果にどう影響するか、確認担当者の作業量が許容できるかである。論文中の誤り率を別の文書群へそのまま当てはめることはできない。
出典
元のタイトル・要旨を確認する（英語）
Relational Deep Dive: Error-Aware Queries Over Unstructured Data
Unstructured data is pervasive, but analytical queries demand structured representations, creating a significant extraction challenge. Existing methods like RAG lack schema awareness and struggle with cross-document alignment, leading to high error rates. We propose ReDD (Relational Deep Dive), a framework that dynamically discovers query-specific schemas, populates relational tables, and ensures error-aware extraction with provable guarantees. ReDD features a two-stage pipeline: (1) Iterative Schema Discovery (ISD) identifies minimal, joinable schemas tailored to each query, and (2) Tabular Data Population (TDP) extracts and corrects data using lightweight classifiers trained on LLM hidden states. A main contribution of ReDD is SCAPE, a statistically calibrated method for error detection with coverage guarantees, and SCAPE-HYB, a hybrid approach that optimizes the trade-off between accuracy and human correction costs. Experiments across diverse datasets demonstrate ReDD's effectiveness, reducing data extraction errors from up to 30% to below 1% while maintaining high schema completeness (100% recall) and precision. ReDD's modular design enables fine-grained control over accuracy-cost trade-offs, making it a robust solution for high-stakes analytical queries over unstructured corpora.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29