アーカイブ / LLM / AI Agent / RAG
企業の出資関係を自然文で調べるEICopilot:質問例を選び、Gremlin検索文を生成
EICopilot
EICopilotの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) Manual enterprise search
概要
- 企業情報の知識グラフを自然文で調べ、生成したGremlin文の検索結果を文章で返す。
- 企業名を伏せて質問の意図が近い例を選び、検索文の生成に使う。
- 著者らは150組の評価データを用い、Full Mask構成でSyntax Error Rate 10.00%、Execution Correctness 82.14%を報告した。ただし前者の本文中の定義には食い違いがある。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、EICopilotの仕組み
- 01企業への自然文質問
- 02企業の特定
- 03質問例の選択
- 04検索文の生成・修正
- 05検索・文章化
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
EICopilotは、企業登録情報を結んだ知識グラフを自然文で検索する仕組みだ。知識グラフとは、企業や人を点、出資などの関係を線として表すデータである。主要株主の投資先を調べるには、複数の関係をたどる必要がある。
著者らの例では、ある企業の主要株主が飲食企業へ出資しているかを調べる。手作業では株主を探し、各株主の投資先を順に確認するため、時間がかかり、関係を見落とすおそれがある。
手法
準備段階では、代表的な質問と、開発者が書いたGremlin文の対を蓄積する。Gremlinは、知識グラフの点や線をたどる検索言語だ。対をベクトルデータベースに登録し、質問の意味が近い例を探せるようにする。
利用時には質問中の企業を特定し、その名前を伏せて意図が近い例を選ぶ。大規模言語モデルは例とデータ項目の説明を参照してGremlin文を作り、異常が見つかった場合は修正を試みる。たとえば主要株主の飲食企業への出資を尋ねると、検索を実行し、得られた関係を文章にまとめる。
新規性
著者らの中心的な工夫は、質問中の企業名を伏せてから、意図が近い質問例を探すことだ。同じ企業名を含むだけの例が選ばれるのを避け、検索文の組み立てに役立つ例を得る狙いがある。
代表的な質問とGremlin文の対を蓄積し、検索文の生成時に参照する。実行に失敗した記録から作り直した検索文も、人が確認したうえで例に加える設計である。
従来手法との違い
従来の企業情報検索では、文章で企業を探した後、株主や投資先の関係を利用者が順にたどる。EICopilotは自然文の質問からグラフ検索文を生成・実行し、見つかった関係を文章で返す。
著者らは比較手法より検索速度と正確さで優れたと報告する。ただし、確認できた本文の範囲では比較手法の設定や結果表を確認できず、改善幅や対象条件は特定できない。
実験結果
著者らは、Baiduの内部データから作った質問とグラフ検索文の150組を評価用に用いた。比較対象の言語モデルとしてErnieBot、ErnieBot-Speed、Llama3-8bを挙げる。専門家による実行正確性の評価では、要求を満たす場合を1、部分的に役立つ場合を0.5、無関係な場合を0とする。
著者らはFull Mask構成でSyntax Error Rateが10.00%まで下がり、Execution Correctnessが82.14%に達したと報告する。ただし、前者は本文中で「構文エラーのない割合」と説明される一方、式は実行失敗を数える形で、定義が一致しない。確認できた本文の範囲では結果表がなく、両数値のモデル別条件や比較手法との差は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:調査担当者が「取引先の主要株主は飲食企業に出資しているか」と入力し、該当する株主、投資先、両者の関係を検索結果とともに確認する。出力は担当者が元の関係を追える一覧と文章にする。
企業・株主・出資関係の元データ、企業の識別子、質問と正しい検索文の対を用意する。正解例となる検索文を人が確認し、対象グラフの項目名と関係の向きに合わせて調整する。追加のセンサーは必要ない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:対象を一種類の出資関係に絞り、企業・株主・投資先の元データと企業識別子を用意する。担当者が質問、正しい検索文、期待する関係を記録し、項目名と関係の向きを対象グラフに合わせる。追加のセンサーは使わない。
同じ質問群を手作業と試作版で調べ、検索文の実行失敗率、期待した関係を返せた割合、確認に要した時間を測る。企業名の候補が複数ある場合は人が特定し、誤った関係や検索結果で裏付けられない文章も記録する。
限界と課題
著者らは、大規模言語モデルだけで知識グラフの検索文を安定して作ることの難しさと、似た企業名を一つの企業に特定する必要性を説明する。検索文の実行失敗を受けた例の更新にも人の確認を組み込んでいる。
編集上の検証事項は、企業名を伏せた例の選択が曖昧な質問にも役立つか、部分的に役立つ回答をどう評価するかである。本文の指標定義には食い違いがあり、報告値の解釈には結果表と判定手順の確認が要る。
出典
元のタイトル・要旨を確認する(英語)
EICopilot: Search and Explore Enterprise Information over Large-scale Knowledge Graphs with LLM-driven Agents
The paper introduces EICopilot, an novel agent-based solution enhancing search and exploration of enterprise registration data within extensive online knowledge graphs like those detailing legal entities, registered capital, and major shareholders. Traditional methods necessitate text-based queries and manual subgraph explorations, often resulting in time-consuming processes. EICopilot, deployed as a chatbot via Baidu Enterprise Search, improves this landscape by utilizing Large Language Models (LLMs) to interpret natural language queries. This solution automatically generates and executes Gremlin scripts, providing efficient summaries of complex enterprise relationships. Distinct feature a data pre-processing pipeline that compiles and annotates representative queries into a vector database of examples for In-context learning (ICL), a comprehensive reasoning pipeline combining Chain-of-Thought with ICL to enhance Gremlin script generation for knowledge graph search and exploration, and a novel query masking strategy that improves intent recognition for heightened script accuracy. Empirical evaluations demonstrate the superior performance of EICopilot, including speed and accuracy, over baseline methods, with the \emph{Full Mask} variant achieving a syntax error rate reduction to as low as 10.00% and an execution correctness of up to 82.14%. These components collectively contribute to superior querying capabilities and summarization of intricate datasets, positioning EICopilot as a groundbreaking tool in the exploration and exploitation of large-scale knowledge graphs for enterprise information search.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




