アーカイブ / LLM / VLM
BPMNの画像をLLMはどこまで点検できるか：対話による業務フロー分析
LLM-based Process Model Analysis
概要
- BPMNの画像をLLMに示し、対話で図の理解、誤りの発見、手順についての推論を試した研究。
- 著者らはChatGPTのo3がゼロショット設定で質問に答えられたと報告し、複数のLLMには性能差があったと述べる。
- 確認できた本文の範囲では評価の件数や数値は不明であり、実務では正解付きの図を使った検証が必要。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LLM-based Process Model Analysisの仕組み
- 01BPMN画像と質問
- 02図の手順を読み取る
- 03誤りや意味を検討
- 04自然言語で回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
BPMNは、作業や分岐を使って業務の手順を図に表す記法である。図のつながりを読み違えると、手順の確認や変更点の検討が難しくなる。作成者以外も自然な言葉で図の内容を尋ねられれば、点検の補助になる。
この研究は、LLM（大規模言語モデル）がBPMNの画像を理解し、対話を通じて誤りや手順上の意味を検討できるかを調べた。業務フローの設計者や利用者を支援する用途を想定している。
手法
利用者はBPMNの画像をLLMに示し、図について自然言語で質問する。著者らは、記法上の問題である構文、手順のつながりに関わる論理、業務上の意味という水準で、モデルが質問に答えられるかを調べた。ChatGPTのo3について報告されたゼロショットとは、課題の回答例を示さずに試す設定を指す。
例えば「承認前に支払いへ進む経路はあるか」と尋ね、回答で挙げられた経路を原図で確認する使い方が考えられる。これは仕組みを説明するための例であり、論文中の実験事例ではない。画像の前処理、質問文の形式、回答を確定する手順は、確認できた本文の範囲では分からない。
新規性
著者らが示すのは、業務フロー図の画像をLLMに見せ、自然言語で対話しながら構文、論理、意味の各水準で分析する試みである。誤りの発見に加え、手順について深く推論する能力も調べている。
ChatGPTのo3がゼロショット設定で質問に答えられたと報告する点が特徴だ。ただし、最適化の具体的な手順や成果は、確認できた本文の範囲では示されていない。
従来手法との違い
著者らは複数のLLMを試し、正確さと有効性にはモデル間で違いがあったと報告する。具体名が示されているChatGPTのo3については、ゼロショット設定で画像からBPMNを理解し、質問に答えられたとしている。
確認できた本文の範囲では、他のモデル名、共通の試験条件、モデル別の数値は分からない。人による点検や専用の解析ツールとの優劣も示されていないため、比較結果を導入先の作業効率に読み替えることはできない。
実験結果
著者らは複数のLLMで、業務フロー図の対話的な理解、構文と論理の誤りの発見、より深い推論を調べたと報告する。ChatGPTのo3については、ゼロショット設定でBPMN画像を理解し、構文・論理・意味の水準の質問に有効に答えたという結論を述べている。
確認できた本文の範囲では、データセット名、図や質問の件数、正解の作成方法、評価指標、数値結果、モデル別の条件は示されていない。したがって、誤りの検出率や作業時間の短縮幅は読み取れない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の稟議手順を改訂する担当者が、現行のBPMN画像と「承認前に支払いへ進む経路はあるか」という質問を入力する。LLMの出力は、該当すると判断した経路とその説明とし、担当者が原図と現行規程に照らして確認する。
必要な元データは対象部署のフロー画像と規程で、検証には担当者が正解を付けた質問と回答を用意する。新たなセンサー入力は想定しない。図の表記や業務用語に合わせた質問文の調整を試す用途であり、承認漏れの削減は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一つの部署の実際のBPMN画像と現行手順書を集める。担当者が経路と誤りに関する質問を作り、図と手順書を照合して正解ラベルを付ける。同じ画像と質問をLLMに入力し、図の表記に合わせた質問文の調整も記録する。
比較の基準は担当者による従来の図の点検とし、正答、見落とし、存在しない問題の指摘、確認に要した時間を同じ質問で測る。入力は既存の画像と文書で、新たなセンサーは想定しない。まずゼロショットで試し、図や質問が変わっても結果を確認できるかを調べる。
限界と課題
著者らは、LLMによって正確さと有効性が異なると報告する。また、深い推論を調べた際に人間らしく見える性質を観察したと述べる。ただし、その観察から個々の回答の正しさは判断できない。
編集上の検証事項：確認できた本文の範囲では、図の複雑さや誤りの種類ごとの成績、回答の安定性、最適化案の評価方法が分からない。導入先では、存在しない経路の指摘と実在する問題の見落としを、担当者が確認した正解と突き合わせたい。
出典
元のタイトル・要旨を確認する（英語）
Evaluation of LLMs for Process Model Analysis and Optimization
In this paper, we report our experience with several LLMs for their ability to understand a process model in an interactive, conversational style, find syntactical and logical errors in it, and reason with it in depth through a natural language (NL) interface. Our findings show that a vanilla, untrained LLM like ChatGPT (model o3) in a zero-shot setting is effective in understanding BPMN process models from images and answering queries about them intelligently at syntactic, logic, and semantic levels of depth. Further, different LLMs vary in performance in terms of their accuracy and effectiveness. Nevertheless, our empirical analysis shows that LLMs can play a valuable role as assistants for business process designers and users. We also study the LLM's "thought process" and ability to perform deeper reasoning in the context of process analysis and optimization. We find that the LLMs seem to exhibit anthropomorphic properties.
論文要旨に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01