アーカイブ / RAG / LLM
ESG報告書への回答は原文で裏付けられるか――ESGBenchの評価方法と確認点
ESGBench
概要
- ESGBenchは、ESG報告書への回答の正確さと、根拠ページを検索できたかを測る評価枠組み。
- 著者らが報告するRAGの結果は、119件で完全一致率21.0%、String F1平均55.4%、Numeric Accuracy@±2%が45.3%。
- 要旨と本文で人手確認の記述が食い違い、件数表にも注記と不整合があるため、正解ラベルと収録件数の照合が必要。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ESGBenchの仕組み
- 01報告書PDF
- 02文章・表を抽出
- 03質問と正解を生成
- 04RAGで回答
- 05回答と根拠を採点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
企業のサステナビリティ報告書には、環境・社会・企業統治に関する説明や数値が載る。これらをまとめてESGと呼ぶ。報告書は長いPDFで、文章と表が混在するため、質問への答えを探す際には数値だけでなく、その出典も確かめる必要がある。
質問応答システムを評価するには、回答が原文と合うかに加え、根拠となる箇所を見つけられたかを測りたい。ESGBenchは、そのための質問集と採点手順を提示する。
手法
ESGBenchは、企業のESG報告書と気候関連情報を開示するTCFD報告書を集める。PDFからページ番号付きの文章を600～1200文字の断片に分け、表は行ごとに取り出して値と単位を整理する。文章または表の行を材料に、そこから答えられる質問、正解、原文をそのまま写した証拠を自動生成する。
例えば排出量の表なら、数値を問う質問と、単位を保った回答を作る。評価用の記録には質問、正解、証拠ページなどを保持する。基準システムは関連する文章断片を検索して回答し、採点では文字列の一致、語の重なり、単位を考慮した数値の一致、証拠ページを検索できたかを調べる。
新規性
ESGBenchは、企業のサステナビリティ報告書に関する質問応答を、正解との一致に加え、根拠ページを検索できたかで評価する枠組みである。文章と表の行から質問、正解、原文をそのまま写した証拠を作り、文書名とページ情報を保持する。
回答の誤りと根拠の検索漏れを別々に調べられる点が特徴だ。ただし、正解を人が確認した範囲については、要旨と本文の記述が一致していない。
従来手法との違い
著者らが実装した比較の基準は、RAGを使う単純な質問応答システムである。RAGとは、関連箇所を検索してから、その内容を使って回答を作る方式を指す。本文では、文章断片をベクトル表現に変えて検索し、得られた箇所から短い回答を返すようモデルに指示する。
ESGBenchは、この回答を正解と照合し、証拠ページが検索結果に入ったかも採点する。確認できた本文の範囲では、複数の検索方式やモデルを同じ条件で比較した結果は示されていない。
実験結果
著者らのESGBench v0.1の件数表には、10社、PDF報告書12件、質問応答119件とある。ただし表には件数の更新を促す注記があり、掲載された分野別件数の合計は119件に達しない。件数を確定値として再利用する前に、公開データとの照合が必要である。
著者らは、119件を評価したRAGの結果として完全一致率21.0%、String F1平均55.4%、Numeric Accuracy@±2%を45.3%と報告する。最後の指標は単位が合い、数値の差が2%以内かを見る。証拠ページの検索率も評価項目だが、本文のRecall@5の数値には記録がある場合という条件が付くため、確定した結果としては扱わない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の担当者が、自社の排出量について年度を指定して尋ねる試作を考える。入力は対象年度のサステナビリティ報告書PDFと質問、出力は報告書に記された値・単位・引用箇所・ページ番号とし、担当者が原文を開いて確認する。
この案では追加学習用データを使わず、対象年度のPDFを検索元にする。検証には担当者が付けた正解値、単位、証拠ページのラベルが必要だ。専用センサーは使わず、対象文書に合わせて表の抽出結果と検索対象の区切り方を調整する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：企業と年度を絞り、対象の報告書PDFから文章と表を抽出する。追加学習は前提にせず、このPDFを検索元データとする。担当者が排出量の質問ごとに正解値、単位、証拠ページを確認してラベルを付け、文書内検索と目視確認の所要時間と誤りを記録する。
同じ質問をRAGで処理し、完全一致率、単位を含む数値の一致率、証拠ページを検索できた割合を比較する。専用センサーは不要な案だが、表の行や単位を正しく抽出できるかは先に点検する。抽出に失敗した箇所を記録し、対象文書に合わせて表の処理と文章の区切り方を調整する。
限界と課題
著者らは、収録元が英語で報告する大企業に偏ること、自動生成した質問が文脈を落とし得ること、表の表記や単位の違いが誤答につながることを挙げる。また、この評価は企業の開示内容を取り出せるかを測るもので、開示内容自体の真偽を判定しない。
編集上の検証事項として、要旨は人が整えた正解に触れる一方、本文は質問と回答の自動生成を説明し、人手検証を今後の作業に挙げる。件数表には更新を促す注記があり、分野別件数の合計も総数と一致しないため、利用前に収録件数とラベルの確認が必要だ。
出典
元のタイトル・要旨を確認する（英語）
ESGBench: A Benchmark for Explainable ESG Question Answering in Corporate Sustainability Reports
We present ESGBench, a benchmark dataset and evaluation framework designed to assess explainable ESG question answering systems using corporate sustainability reports. The benchmark consists of domain-grounded questions across multiple ESG themes, paired with human-curated answers and supporting evidence to enable fine-grained evaluation of model reasoning. We analyze the performance of state-of-the-art LLMs on ESGBench, highlighting key challenges in factual consistency, traceability, and domain alignment. ESGBench aims to accelerate research in transparent and accountable ESG-focused AI systems.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01