アーカイブ / LLM
知識グラフを数値表現として言語モデルに渡し、関係を問う回答を検証
Injecting Knowledge Graphs into Large Language Models
Injecting Knowledge Graphs into Large Language Modelsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Visual representation of the framework. During training, the KG embedding is concatenated to the token latent vectors of the frozen LLM, and the answer produced by the LLM is optimized.
概要
- 知識グラフの実体と関係を数値表現に変え、質問とともに重みを固定した言語モデルへ入力する。
- 著者は合成データとAIDS、MUTAG、AQSOLで、存在・件数・識別を問う質問のテスト正解率を比較した。
- 合成データの1ホップ・単一ラベルの件数質問では本手法0.88、Few-Shot 0.12。ただし識別質問などの成績は課題により異なる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Injecting Knowledge Graphs into Large Language Modelsの仕組み
- 01実体・関係の組
- 02KGEで数値化
- 03次元別に集約・変換
- 04質問表現と連結
- 05回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、知識グラフの実体間の関係を数値表現に変え、自然文の質問とともに言語モデルへ渡す。知識グラフとは「設備A―設置先―建物B」のように、実体と関係の組で事実を表すデータである。
グラフの内容を文章に並べて渡す方法では、関係の構造が伝わりにくくなる場合がある。関係をたどる質問への利用を考えるなら、対象の有無に加え、件数や該当する実体を答えられるかが重要になる。
手法
入力は、実体・関係・実体の組からなる知識グラフと自然文の質問である。KGEは実体と関係を数値の列に置き換える手法で、著者は各組の情報を数値の位置ごとに集約する。さらに線形投影という変換で、得たグラフ表現を言語モデルが受け取れる長さに合わせ、質問の入力表現に連結する。
例えば「設備A―設置先―建物B」という関係から「建物Bにある設備はどれか」と問えば、出力は設備名になる。学習にはグラフの説明・質問と正解の組を使い、回答とのずれを小さくする。著者の説明では言語モデル本体の重みを固定し、学習したグラフ表現を質問とともに入力する。
新規性
著者が提案するのは、一般的なグラフを入力表現に変えるGraphTokenの発想を、実体と関係を持つ知識グラフへ拡張する方法である。知識グラフ埋め込み（KGE）を使い、関係を含む情報を言語モデルの入力に組み込む。
言語モデル本体の重みは固定する。本文には学習可能な投影層も記される一方、更新対象はKGEのみとも書かれており、この点の説明は一致していない。
従来手法との違い
比較対象は、例を示さないZero-Shot、回答例を2件示すFew-Shot、段階的な推論を促すCoT、学習可能な入力表現を加えるPrompt Tuningなどである。本手法は、実体と関係の数値表現を質問の入力表現へ連結する。
著者は同じ質問課題のテスト正解率を表で比較している。GPT-4oなどとの別の比較は合成データでの平均得点とパラメータ数に関するもので、業務上の費用や回答根拠の追跡しやすさを測った結果ではない。
実験結果
著者は合成データ、AIDS、MUTAG、AQSOLで、実体の存在・件数・識別を問う0～2ホップの質問を評価した。ホップは関係をたどる回数である。学習・検証・テストの分割比は80・10・10で、言語モデルにはGemmaの2B版を使った。
表3のテスト正解率では、合成データの1ホップ・単一ラベルの件数質問で本手法0.88、2例を示すFew-Shot 0.12だった。同じデータの0ホップ・単一ラベルの識別質問では0.08と0.07で差は小さい。著者は件数と識別の成績がデータや課題により変動すると述べる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：設備台帳の「設備Aが建物Bに設置されている」といった記録を知識グラフにし、「建物Bにある設備はどれか」に答える。入力は設備・建物・設置関係の組と質問、出力は設備名とする。
必要な元データは関係を含む台帳、学習用ラベルは質問ごとの正解である。追加センサーは想定しない。台帳の表記を実体と関係へ整理し、回答を元の記録と照合する。この業務用途での効果は論文では検証されていない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：設備台帳の一部を使い、設備・建物・設置関係を組に変換する。設備名や件数を問う質問と正解ラベルを人が確認し、学習用・調整用・評価用に分ける。必要な元データは関係を含む台帳で、追加センサーは使わない。
同じ評価用質問を、関係を文章にして渡す基準手法と本手法へ入力する。存在・件数・識別別の正解率を測り、誤答では元の関係と出力を照合する。台帳更新後にも同じ検査を行い、グラフの作り直しや再調整が必要か判断する。
限界と課題
著者は、評価が主にノードに関する質問を対象とし、関係そのものやグラフ全体を問う課題は今後の対象だと述べる。複雑な識別質問は難しく、変化する知識グラフへの対応も今後の課題に挙げている。
編集上の検証事項：本文は線形投影を学習可能とする一方、更新されるのはKGEのパラメータのみとも述べるため、投影層の更新方法は確定できない。実務では台帳更新後の再調整の要否と、回答を元の関係へ照合できるかを確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Injecting Knowledge Graphs into Large Language Models
Integrating structured knowledge from Knowledge Graphs (KGs) into Large Language Models (LLMs) remains a key challenge for symbolic reasoning. Existing methods mainly rely on prompt engineering or fine-tuning, which lose structural fidelity or incur high computational costs. Building on recent encoding techniques which integrate graph embeddings within the LLM input as tokens, we extend this paradigm to the KG domain by leveraging Knowledge Graph Embedding (KGE) models, thus enabling graph-aware reasoning. Our approach is model-agnostic, resource-efficient, and compatible with any LLMs. Extensive experimentation on synthetic and real-world datasets shows that our method improves reasoning performance over established baselines, further achieving the best trade-off in terms of accuracy and efficiency against state-of-the-art LLMs.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01