アーカイブ / LLM / RAG
C言語の記事から知識グラフを生成：GPT-4、LLaMA 2、BERTの比較
Knowledge Graph Generation with GPT-4, LLaMA 2, and BERT
Knowledge Graph Generation with GPT-4, LLaMA 2, and BERTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Workflow of the pipeline
概要
- C言語のWikipedia記事の短い一節から、GPT-4、LLaMA 2（13B）、BERTが実体と関係を抽出し、知識グラフを作った。
- 著者らの報告では、関係抽出のF1はGPT-4が0.82、LLaMA 2が0.77、BERTが0.72だった。
- 評価は短い一節に限られる。業務文書への適用には、人手で付けた正解ラベルによる再検証が要る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Knowledge Graph Generation with GPT-4, LLaMA 2, and BERTの仕組み
- 01C言語記事の一節
- 02文章の分割・整形
- 03実体と関係の抽出
- 04知識グラフ
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、文章中の実体と関係を取り出し、知識グラフにする。知識グラフとは、「C言語」「Unix」などを点として置き、関係を線で結んだ情報の形である。GraphRAGは、そのような関係を検索して回答生成に利用する方式を指す。
グラフを人手で作るには、本文に現れる実体と関係を確認する作業が要る。著者らは作成時の正確さと拡張の難しさを課題とし、三つのモデルで抽出結果がどう異なるかを調べた。
手法
入力はC言語のWikipedia記事から取った短い一節。著者らは文章をモデルの入力に合う単位へ分け、不要な記号や書式を除き、形式をそろえた。この文章をGPT-4、LLaMA 2（13B）、BERTにそれぞれ渡し、実体と実体間の関係を抽出させた。
例えば「C言語」と「Unix」を実体として見つけ、本文から読み取った関係で結ぶ。実体を点、関係を線として記録したものが出力の知識グラフである。著者らは別途、同じ文章から人手で確認した正解グラフを作り、各モデルの出力を評価した。
新規性
著者らは、文章から実体と関係を抽出して知識グラフを作り、人手で確認したグラフと照合する手順を示した。あらかじめ関係の型を定める方法に対し、本文から関係を推定する点を狙いとしている。
評価には関係抽出の正確さに加え、グラフ構造と意味の近さを用いる。新しいモデルの提案ではなく、三つのモデルが同じ短い文章から作ったグラフを比較した研究である。
従来手法との違い
比較したのは、GPT-4、LLaMA 2（13B）、BERTがそれぞれ生成したグラフと、同じ文章から人手で確認して作った正解グラフである。入力文は前処理で形式をそろえ、各モデルが独立に実体と関係を抽出した。
著者らは、従来の関係分類には人手や事前に決めた関係の型が必要だと説明する。ただし、従来手法を同条件で動かした結果は示していない。作業時間や費用の削減量は、この比較からは判断できない。
実験結果
著者らは、C言語のWikipedia記事の短い一節から作った正解グラフと各出力を比較した。関係の適合率／再現率／F1は、GPT-4が0.85／0.80／0.82、LLaMA 2が0.80／0.75／0.77、BERTが0.75／0.70／0.72だった。適合率は抽出した関係の正しさ、再現率は正解の拾い上げ、F1は両者を合わせた指標である。
正解グラフに一致させる編集回数を測るGraph Edit Distanceは、同じ順に6、8、10。実体と関係の意味の近さをまとめた総合類似度は0.87、0.82、0.77だった。これらは著者らがこの一節で報告した値であり、業務文書や大規模データでの順位を示すものではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の技術仕様書から、製品と対応規格の関係をたどれる検索用グラフを作る。入力は版が確定した仕様書本文、出力は実体名と「製品が規格に対応する」といった関係の一覧とする。追加センサーは使わない想定である。
適用には対象文書と、担当者が本文を読んで付けた実体・関係の正解ラベルが要る。文書の表記と必要な関係名に合わせて入力を整え、抽出候補を原文と照合する。承認した関係だけを検索に使うという応用仮説であり、効果は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象を一種類の技術仕様書に絞り、版が確定した本文を入力データとする。担当者が一部の文書を読み、実体名と関係名の正解ラベルを付ける。入力形式と関係名を業務文書に合わせて調整する。文書を入力とするため、追加センサーは想定しない。
人手で関係を登録する現行作業を比較基準に置く。モデルの候補を正解ラベルと照合し、関係の適合率・再現率・F1に加え、担当者の確認時間と修正件数を記録する。採用条件は、検索で許容できる誤りの範囲を担当者と定めてから判定する。
限界と課題
著者らが明示する制約は、GPUの制約により、C言語のWikipedia記事から取った短い一節を主な入力にした点である。より大きく複雑なデータでの試験や、分野に合わせた調整は今後の課題としている。
編集上の検証事項は、社内文書でも関係を正しく拾えるか、表記揺れや必要な関係名をどう扱うか、誤った関係が検索結果に及ぼす影響である。確認できた本文の範囲では、処理時間、費用、大規模文書での精度は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Generating Knowledge Graphs from Large Language Models: A Comparative Study of GPT-4, LLaMA 2, and BERT
Knowledge Graphs (KGs) are essential for the functionality of GraphRAGs, a form of Retrieval-Augmented Generative Systems (RAGs) that excel in tasks requiring structured reasoning and semantic understanding. However, creating KGs for GraphRAGs remains a significant challenge due to accuracy and scalability limitations of traditional methods. This paper introduces a novel approach leveraging large language models (LLMs) like GPT-4, LLaMA 2 (13B), and BERT to generate KGs directly from unstructured data, bypassing traditional pipelines. Using metrics such as Precision, Recall, F1-Score, Graph Edit Distance, and Semantic Similarity, we evaluate the models' ability to generate high-quality KGs. Results demonstrate that GPT-4 achieves superior semantic fidelity and structural accuracy, LLaMA 2 excels in lightweight, domain-specific graphs, and BERT provides insights into challenges in entity-relationship modeling. This study underscores the potential of LLMs to streamline KG creation and enhance GraphRAG accessibility for real-world applications, while setting a foundation for future advancements.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01