新着研究 / LLM / RAG
規制文書の抽出値と根拠箇所を一緒に採点、RegExtractがPFAS情報の構造化を評価
RegExtract
RegExtractの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : An example document where the highlighted text should be extracted for each field.
概要
- 米国十六州の二十文書、四十六規制から人手で注釈した四百八十八項目を提供する。
- 抽出値と出典を組にして採点し、フィールド・規制・文書の各水準で評価する。
- 項目別の少数例は有効だが、文書識別の項目や根拠の正確さに課題が残る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RegExtractの仕組み
- 01規制文書
- 02項目スキーマへ抽出
- 03根拠文を対応
- 04人手注釈と照合
- 05値と出典を採点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
規制文書から対象物質や用途、適用除外を抜き出すには、離れた節に書かれた条件を合わせて読む必要がある。値がもっともらしくても根拠箇所へ戻れなければ、担当者は適用条件を確かめられない。
RegExtractはPFASという有機フッ素化合物群の規制を題材に、情報の構造化と出典の追跡を同時に測る評価集合を作る。規制内容を本記事で判断するのではなく、LLMによる抽出工程をどう試験するかが研究の中心である。
手法
二人の分野専門家が文書を独立に注釈し、差を相談して項目の定義を整える。文書と規制の水準で十四項目を設定し、選択値、真偽値、リスト、文章という型を持たせる。各項目には値だけでなく元の文や段落を根拠として付ける。例えば製品の適用除外なら、除外される製品と条件を支える箇所を組にする。
LLMへ全文または検索・分類で縮めた文書を渡し、まとめて抽出する方法とスキーマを分ける方法、例なしと少数例付きの指示を比較する。評価では型に応じた値の正しさに加え、根拠への対応を採点し、文書全体の抽出がどこで崩れるかを調べる。
新規性
規制情報の抽出を、回答の値だけが一致すれば成功という評価から広げる。正しい値が正しい出典と結び付くかを、項目、規制、文書の水準で検査できるようにする。
法的な文章は複数条件を含むため、単純な要約と構造化した記録は目的が違う。型付きスキーマと人手の根拠注釈を用意し、モデルやプロンプトの変更を同じ基準で比較する土台を提供する。
従来手法との違い
六つの公開・非公開モデルで、抽出を一括にする基準構成と、項目の分割や少数例を加える変更を比較する。各実験は他のプロンプト部分を保ち、変更する要素を限っている。
文書を縮める際には埋込み検索とLLM分類を比べ、断片の長さと数も変える。大きい断片なら必ず良いわけではなく、本文では一部モデルで千二十四トークンに増やすと成績が下がる条件が述べられている。
実験結果
集合は十六州の二十文書、四十六規制にまたがる四百八十八の人手注釈項目で、値と出典を別々に数えると九百七十六エントリとなる。著者は文書識別の項目が難しく、項目に特化した少数例が抽出を改善すると報告する。
本文では不正なJSONなどを出した文書を、その構成の平均指標から除外している。したがって有効出力の得点だけを見ると、全入力を安定して処理できるかが分からない。導入では形式失敗の件数も併せて評価する必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製造部門の規制確認で、文書から物質定義、製品用途、適用除外を根拠箇所付きの表へ抽出する。担当者は各セルから元の段落を読み、条件や文書の版を確認して正式な記録へ反映する。
入力は管理された文書と項目定義、出力は値と根拠の組にする。抽出結果を直接の適法判断として使わず、人が確認する前処理に置き、同名の規制や改訂版の取り違えを点検する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の少数文書を専門担当者二人で注釈し、項目定義と根拠の粒度をそろえる。全文抽出と文書を縮めた抽出を同じモデルで比較し、型ごとの正答と根拠一致を測る。
項目別の少数例を加える場合は評価文書を例に含めない。形式失敗、未抽出、誤った適用除外、改訂日の取り違えを記録し、平均指標だけでなく文書を丸ごと正しく処理できた割合と人手の確認時間を測る。
限界と課題
対象は二十文書であり、別の国や法令体系、最新の規制への性能をそのまま示すものではない。文書の圧縮が根拠を落とす可能性と、識別項目の難しさは研究上の課題である。
編集上の確認点は、出典が値を十分に支えるか、注釈されていない条件や例外を落としていないかである。有効出力だけの平均得点と運用全体の成功率を分け、文書の変更があれば評価集合も更新する必要がある。
出典
元のタイトル・要旨を確認する（英語）
RegExtract: A Benchmark for PFAS Regulatory Information Extraction with LLMs
Extracting structured information from regulatory documents is a critical but challenging task. Relevant facts are scattered across long, legally dense texts, and traceability of extracted facts to their source is essential for verification. With increasing awareness of the environmental and health impacts of per- and polyfluoroalkyl substances (PFAS), regulatory documents have expanded significantly, varying in scope and product relevance, making interpretation challenging for manufacturers and policymakers. We introduce RegExtract, a benchmark for structured information extraction from PFAS regulatory documents, comprising 488 human-annotated field instances across 20 US state documents and 46 regulations. Each field instance includes a value and a provenance entry, yielding 976 entries in total. We define a typed, multi-field schema targeting key elements such as material definitions, permitted uses, and product exemptions, and propose provenance-aware evaluation metrics tailored to regulatory text. Through experiments with open- and closed-source LLMs across prompting strategies, document condensing methods, and schema partitioning approaches, we find that document identification fields remain challenging, and that field-specific few-shot examples improve extraction. This work lays the groundwork for AI tools for hazardous substance identification, question answering, and compliance monitoring. The code and data are available at https://github.com/IBM/PFAS-regulations.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-14