表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

ギリシャの行政決定を検索可能にする文書集と、出典付き質問応答の試作

Diavgeia Government Decisions Corpus

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Diavgeia Government Decisions Corpusの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1. Our Boilerplate detection pipeline.

出典:Diavgeia Government Decisions Corpus / arXiv ↗

概要

  • 2021年のギリシャの行政決定を収集し、著者らの統計表では1,061,438件を収録する。
  • PDF本文と付随情報を検索し、決定固有の識別子ADAを添えて答える質問応答を試作した。
  • 定型文抽出の評価値は報告されているが、確認できた本文の範囲では質問応答の成績は分からない。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Diavgeia Government Decisions Corpusの仕組み

左から右へ読む
  1. 01決定PDFとJSON
  2. 02本文をMarkdown化
  3. 03付随情報と索引化
  4. 04関連決定を検索
  5. 05ADA付き回答

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

ギリシャの公開基盤Diavgeiaには、行政機関や自治体などの決定が掲載される。しかし、PDFの本文とJSON形式の付随情報に分かれ、文書の形式も一定ではないため、支出や担当機関を調べるには該当文書を探して読み解く手間がかかる。

著者らは2021年の決定を機械で扱える文章に整え、行政活動の分析と、決定文書を根拠にした質問応答に使える文書集を作った。

手法

著者らはDiavgeiaのAPIから2021年の決定PDFとJSON形式の付随情報を取得し、PyMuPDF4LLMで本文を抽出する。出力するMarkdownは、見出しなどの文書構造を文字で表せる形式だ。本文に決定固有の識別子ADA、発行日、組織名などを合わせ、検索用の文書にする。

質問応答では、ギリシャ語の質問に直前の会話を最大5往復分加え、BM25という語の出現に基づく順位付けで関連決定を探す。試作では上位8件の本文と付随情報を根拠としてGPT-4o-miniに渡し、ADAを添えた回答を作る。これは検索した文書を使って回答を生成するRAGという方式である。

新規性

著者らは、Diavgeiaの行政決定を対象に、識別子や発行日などの付随情報と、PDFから抽出したMarkdown形式の本文を組み合わせた大規模文書集を提示する。収集、整形、構造化までの再現可能な手順も示している。

文書集に加え、行政文書で繰り返される定型文の分析と、決定を探して識別子付きで答える質問応答課題を設けた点が、この研究の構成上の特徴である。

従来手法との違い

既存のギリシャ法令集が法律などを扱うのに対し、この文書集は調達、予算配分、採用承認といった日々の行政決定を扱う。対象文書が異なるという比較であり、法令集より検索性能が高いという結果ではない。

本文抽出では、著者らは行政PDF 200件を用い、Tesseract OCR、Paddle OCR、PyMuPDF4LLMによる直接抽出、GPT-5-nanoによる参照テキストを検討した。大規模処理には速度とMarkdown出力を理由にPyMuPDF4LLMを選んだが、方式別の数値は確認できた本文の範囲では示されていない。

実験結果

著者らの統計表には1,061,438件の決定が載る。本文抽出法の検討にはギリシャ語の行政PDF 200件を用いたが、確認できた本文の範囲では方式別の精度や処理時間の数値を照合できない。

定型文の評価には、人が同じひな型と確認した文書100組を使用した。本文を入れ替えて復元した際の語単位の再構成誤差REと、定型文の抽出率BERについて、著者らはGPT-5で0.0097と75.60%、GPT-5-miniで0.0203と58.19%と報告する。質問応答用には500文書を選び、質問と正答を生成したが、成績と分割条件は確認できない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:自治体の公開済み調達決定を、担当者が出典付きで探す検索窓を試す。例えば「2021年度の施設修繕の決定と金額」を入力し、候補文書の識別子、発行日、金額と、その記載箇所を出力する。

対象自治体の決定PDF、文書識別子・発行日などの付随情報、担当者が確認した質問・正答・根拠箇所が必要になる。まず本文を抽出して検索し、回答者が原文と照合する。ギリシャ語の事例を日本語文書へ移すには、文書形式と検索語の調整が要る。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:対象部署の公開決定PDFと、識別子・発行日・組織名を含む付随情報を少量集める。担当者が原文を確認し、質問、正答、根拠箇所を記した評価用データを作る。追加のセンサーは必要としない想定で、まず日本語PDFの本文抽出と検索語の調整を行う。

同じ質問で単純なキーワード検索を比較対象とし、正しい決定が見つかる割合、金額と日付の一致率、識別子から原文へたどれる割合を測る。PDFの形式ごとに抽出誤りも記録し、回答前に人が確認すべき箇所を決める。

限界と課題

著者らは、元のPDFで文字コードが乱れ、直接抽出が不正確になり得ると述べる。また、公開文書中の個人名は除去していない。言語モデルによる定型文抽出を全件に行う計算負荷が大きいため、定型文の広がりは別の探索方法で調べている。

編集上の検証事項は、抽出後の金額や識別子の欠落、誤った決定の引用、個人名を含む回答の扱いである。質問応答の最終的な成績は確認できた本文の範囲では分からず、実務での回答精度を判断するには追加の評価が必要になる。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

A Greek Government Decisions Dataset for Public-Sector Analysis and Insight

We introduce an open, machine-readable corpus of Greek government decisions sourced from the national transparency platform Diavgeia. The resource comprises 1 million decisions, featuring and high-quality raw text extracted from PDFs. It is released with raw extracted text in Markdown format, alongside a fully reproducible extraction pipeline. Beyond the core dataset, we conduct qualitative analyses to explore boilerplate patterns and design a retrieval-augmented generation (RAG) task by formulating a set of representative questions, creating high-quality answers, and evaluating a baseline RAG system on its ability to retrieve and reason over public decisions. This evaluation demonstrates the potential of large-scale public-sector corpora to support advanced information access and transparency through structured retrieval and reasoning over governmental documents, and highlights how such a RAG pipeline could simulate a chat-based assistant capable of interactively answering questions about public decisions. Due to its scale, quality, and domain coverage, the corpus can also serve as high-value pre-training or fine-tuning material for new Language Models (LMs) and Large Language Models (LLMs) respectively, including specialized models for legal and governmental domains, and as a foundation for novel approaches in domain adaptation, knowledge-grounded generation, and explainable AI. Finally, we discuss limitations, outline future directions, and make both the data and the code accessible.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01