アーカイブ / VLM / Computer Vision
画像の業務フロー図から要素と接続をJSONに抽出する
Structured Extraction from Business Process Diagrams Using Vision-Language Models
Structured Extraction from Business Process Diagrams Using Vision-Language Modelsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Cropped BPMN region with fine-grained cues
概要
- BPMN図画像から、作業や分岐などの要素を構造化JSONとして抽出する。
- OCRは抽出済み要素の欠けた名前を補うが、試験結果では効果がモデルと照合対象によって異なる。
- 著者らは英語の図画像とXMLの対応組202件を作り、名前・種類・接続を正解と照合した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Structured Extraction from Business Process Diagrams Using Vision-Language Modelsの仕組み
- 01BPMN図画像
- 02VLMで要素抽出
- 03OCRで名前補完
- 04要素JSON
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、画像として保存されたBPMNの業務フロー図から、作業や分岐などを取り出す。BPMNは業務の流れを決まった図形で表す記法で、四角は作業、ひし形は分岐、矢印は進む順序を示す。
手順書や研修資料には図の画像だけが残り、編集元のXMLがない場合がある。XMLは要素や接続を記録する構造化データで、その内容を参照できなければ工程を機械的に調べにくい。
手法
画像と言葉を扱うモデルであるVLMに、図画像とBPMNの図形の特徴を記した指示文を渡す。モデルは作業、イベント、分岐、矢印などの種類、名前、属性をJSON形式で返す。JSONは項目を決まった形で記録する形式で、出力後に形式の検査と表記の統一を行う。
OCRを使う構成では、同じ画像から文字を別途読み取り、VLMが返した要素のうち名前が空欄のものに対応する文字を補う。例えば、矢印に条件文があるのに抽出結果の名前が空欄なら、読み取った文字を補完候補にする。本文の補完手順では、既に抽出した要素の構造は変更しない。
新規性
著者らは、編集元のファイルを入力せず、BPMNの図形の意味と出力形式を記した共通の指示文で、図画像から主要な要素をJSONに抽出する手順を提案した。指示文には出力例のJSONを含めるが、入力画像と正解の組は与えない。
英語の図画像と元のXMLを対応づけた評価用データも構築した。さらに、文字認識による名前の補完を加え、モデルごとの結果を比較している。
従来手法との違い
比較の基点は、図画像と指示文だけをVLMに渡す構成である。追加構成では同じ画像からOCRでも文字を読み取り、抽出済みの要素で名前が空欄のものを補う。OCRは光学文字認識、つまり画像中の文字を読み取る処理を指す。
著者らは、図画像からBPMNを再構成するBPMN RedrawerとSketch2Processも比較対象にした。確認できた本文の表では、OCR追加の効果はモデルと照合対象で異なる。名前の補完が接続関係の改善につながるとは言えない。
実験結果
著者らは英語のBPMN図画像とXMLの対応組202件を作り、学習用101件、開発用50件、試験用51件に分けた。XMLから作った正解と名前、種類、接続を照合し、適合率・再現率・F1を報告した。F1は適合率と再現率をまとめた値である。
報告表の厳密照合では、名前のみのF1はGPT-4.1-miniの画像単独で0.817、Tesseract追加で0.790だった。名前と種類ではGemma-12Bの画像単独が0.422、RapidOCR追加が0.481。一方、接続と種類ではGPT-4.1-miniの画像単独が0.469、Tesseract追加が0.340だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：編集元が残っていない社内の業務手順書にあるBPMN図を棚卸しする。PDFから取り出した図画像を入力し、作業、分岐、矢印の候補をJSONで出力する。担当者が原図と照らし、要素名と接続を確認して台帳に登録する。
検証には対象の図画像と、人が確認した要素名・種類・接続の正解ラベルが要る。画像が既にあれば追加のセンサーは不要だが、日本語や社内固有の表記に合わせ、指示文と文字認識の結果を確認する必要がある。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内のBPMN図画像を少数選び、人が要素名、種類、矢印の始点と終点を正解ラベルにする。元のXMLが残る図は正解作成の出発点に使える。論文の手順は入力と正解の組による追加学習を前提とせず、画像があれば追加のセンサーも要らない。
同じ図を画像単独とOCR追加で処理し、指示文と文字認識が日本語表記に合うか確認する。名前、種類、接続ごとの適合率・再現率・F1に加え、担当者が見落としや誤接続を直す時間を記録し、棚卸しに使えるか判断する。
限界と課題
著者らは、名前のない分岐やイベント、密集した配置、薄い文字、画像の縮小で見えにくくなる細かな記号を、画像からの抽出が難しい例として挙げる。表でも、名前だけの照合より接続と種類を合わせる照合のF1が低いモデルが見られる。
編集上の検証事項は、日本語の社内図やスキャン画像での読み取り、誤った矢印の接続を担当者が発見できるかである。この評価は要素一覧を元のXMLと照合したもので、JSONから実行可能な工程定義を完全に復元できるかは示していない。
出典
元のタイトル・要旨を確認する（英語）
Structured Extraction from Business Process Diagrams Using Vision-Language Models
Business Process Model and Notation (BPMN) is a widely adopted standard for representing complex business workflows. While BPMN diagrams are often exchanged as visual images, existing methods primarily rely on XML representations for computational analysis. In this work, we present a pipeline that leverages Vision-Language Models (VLMs) to extract structured JSON representations of BPMN diagrams directly from images, without requiring source model files or textual annotations. We also incorporate optical character recognition (OCR) for textual enrichment and evaluate the generated element lists against ground truth data derived from the source XML files. Our approach enables robust component extraction in scenarios where original source files are unavailable. We benchmark multiple VLMs and observe performance improvements in several models when OCR is used for text enrichment. In addition, we conducted extensive statistical analyses of OCR-based enrichment methods and prompt ablation studies, providing a clearer understanding of their impact on model performance.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01