アーカイブ / LLM
質問から関係を定義し、Wikidataに対応づけて文書を知識グラフ化する
Ontology-grounded KG Construction
概要
- 文書から質問と回答を作り、質問中の関係をWikidataの項目と照合してからRDF三つ組を生成する。
- 著者らのpartial F1評価で、関係を制限したMistral版はWiki-NREで0.66、SciERCで0.73、WebNLGで0.74だった。
- 関係の制限を外すと3データセットとも数値は下がった。著者らは、追加した関係を既存の正解注釈だけでは評価できないと述べる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Ontology-grounded KG Constructionの仕組み
- 01対象文書
- 02質問と回答
- 03関係候補の照合
- 04OWL関係定義
- 05RDF三つ組
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、文書に書かれた対象と関係を知識グラフに変える。知識グラフとは、例えば「製品A・対応機能・機能B」のように、対象同士の結び付きを機械が読める形で記録したもので、検索や質問応答に使える。
従来の構築作業では、対象や関係の定義と事実の登録に専門家の手間がかかる。大規模言語モデルに直接生成させる場合も、関係名の重複や、既存の知識ベースと意味が合わないことが課題になる。
手法
まず大規模言語モデルが文書から、答えを文書中に見いだせる質問と回答を作る。これはコンピテンシー質問と呼ばれ、グラフに収める知識の範囲を決める手掛かりになる。例えば仕様書なら「製品Aはどの機能に対応するか」と問い、質問から「対応する」という関係候補とその説明を作る。
次に、説明文の意味が近いWikidataの関係項目を検索し、モデルが一致するか判定する。採用した関係をOWLという機械可読の定義形式にまとめ、一致しない関係は設定に応じて追加または除外する。最後に質問と回答から対象を取り出し、定義に沿って「対象・関係・対象」を表すRDF三つ組を出力する。
新規性
著者らの提案は、文書から質問と回答を作り、質問に含まれる関係を整理してから事実を抽出する点にある。関係の説明をWikidataの項目と照合し、採用した定義で三つ組の生成を導く。
一致する項目がなければ新しい関係を残す設定と、評価対象の関係だけに絞る設定を設けた。関係名の重複を減らし、既存の知識ベースと意味を合わせることが狙いである。
従来手法との違い
比較対象は、各データセット向けに調整されたGenIE、PL-Marker、ReGenと、既報のLLMによる結果である。提案法は質問から関係の定義を作り、その定義に沿ってグラフを生成する。
著者らの表では、関係を評価対象に制限したMistral版はWiki-NREとSciERCで両比較群を上回った。WebNLGでは調整済みのReGenを下回る。制限を外すと提案法の値は3データセットすべてで下がったが、追加した関係は評価用の正解に十分含まれていない。
実験結果
著者らはWiki-NREのテスト用1,000件・45関係、SciERCの974件・7関係、WebNLGの1,165件・159関係で評価した。指標は三つ組のpartial F1で、生成したグラフから有効なRDF三つ組を取り出し、各文書を1回処理した結果である。
関係を評価対象に制限したMistral版は上記の順に0.66、0.73、0.74、制限なしでは0.60、0.58、0.68だった。GPT-4o版は制限ありのみで0.71、0.77、0.76。調整済み手法は0.484、0.532、0.767で、WebNLGではその値が高い。著者らは正解注釈に関係や三つ組の漏れがあり得ると指摘する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の製品仕様書から、製品と対応機能をたどれる検索用グラフを試作する。入力は版を特定した仕様書、出力は製品・機能・対応関係の三つ組と、採用した関係定義の一覧とする。
元データは利用を認められた仕様書とし、追加学習用データは前提にしない。センサーは使わず、担当者が少数の文書に評価用の正解ラベルを付ける。社内固有の関係は定義を追加し、Wikidataとの対応と原文の根拠を確認してから検索に組み込む。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用を認められた仕様書を少量選び、担当者が製品名・機能名・関係名と正解の三つ組を付ける。追加学習用データやセンサーは使わず、社内固有の関係は名称と意味を確認して定義に加える。
同じ文書から定義を介さず三つ組を直接抽出する方法を比較対象にする。正解との三つ組の一致、原文で根拠を確認できる割合、関係名の重複、文書1件当たりの処理回数を記録する。定義を変更したら既存文書も再処理し、この文書群での結果として判断する。
限界と課題
著者らは、関係を制限しない場合、評価用の正解にない関係も作られるため、追加分を既存の注釈だけでは評価できないと述べる。また、文書ごとに3回、抽出した関係ごとにさらに1回のLLM呼び出しが必要で、処理負荷を課題に挙げる。
編集上の検証事項として、質問が対象文書の重要な情報を拾えるか、Wikidataの既存項目との意味の一致を正しく判断できるかを調べたい。原文にない事実、同一対象の表記揺れ、文書更新後の再処理費用も実測が必要である。
出典
元のタイトル・要旨を確認する（英語）
Ontology-grounded Automatic Knowledge Graph Construction by LLM under Wikidata schema
We propose an ontology-grounded approach to Knowledge Graph (KG) construction using Large Language Models (LLMs) on a knowledge base. An ontology is authored by generating Competency Questions (CQ) on knowledge base to discover knowledge scope, extracting relations from CQs, and attempt to replace equivalent relations by their counterpart in Wikidata. To ensure consistency and interpretability in the resulting KG, we ground generation of KG with the authored ontology based on extracted relations. Evaluation on benchmark datasets demonstrates competitive performance in knowledge graph construction task. Our work presents a promising direction for scalable KG construction pipeline with minimal human intervention, that yields high quality and human-interpretable KGs, which are interoperable with Wikidata semantics for potential knowledge base expansion.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01