アーカイブ / VLM
グラフの数値を辞書に写し、プログラムで計算してから要約する
Program-of-Thoughts for Chart Summarization
Program-of-Thoughts for Chart Summarizationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Example of a chart in Pew dataset with its representations in Python dictionary and statistics. Italic indicates L2/L3 content in chart summarization. Strikeout indicates hallucination errors and error-inducing tokens.
概要
- グラフ画像をPython辞書に変換し、生成したプログラムで統計値を計算してから要約する。
- PewとVisTextのテスト集合で評価した結果、指標やモデル、グラフの種類によって効果が異なった。
- 導入時は計算結果に加え、画像から辞書へ写した値の正確さを確認する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Program-of-Thoughts for Chart Summarizationの仕組み
- 01グラフ画像
- 02Python辞書
- 03集計プログラム
- 04統計値
- 05要約文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
グラフの要約では、軸や凡例を読み、値の大小や変化を文章にする。視覚言語モデル（VLM）は画像と文章を扱うが、著者らは、図中の文字や数値の読み取りと統計的な推論に誤りが生じ得ると指摘する。
特に最大値などの記述が実際のデータと食い違うと、要約を使う人が傾向を誤解する。元データの表が付かないグラフを扱うため、画像から数値を取り出して計算につなぐ手順が課題となる。
手法
まずVLMが画像内の項目名と数値を、名前と値の組で保持するPython辞書にする。例えば月別の棒グラフなら月名と売上値を対応付ける。著者らは辞書生成に主にInternVL-2.5-4Bを使い、実行できない辞書が出た場合はGPT-4o-miniで変換した。
次にQwen-2.5-Coder-14Bが辞書を受け取り、関連する統計値を求めるPythonプログラムを生成する。PoTは、推論の途中に実行可能なプログラムを置いて計算する方法である。著者らはプログラムを実行して統計値の辞書を得て、元のグラフ画像とともにVLMへ渡し、要約文を生成した。
新規性
著者らの提案は、グラフ画像からPythonの辞書を生成する補助タスクを、Program-of-Thoughts（PoT）による計算と組み合わせた点にある。辞書は項目名と値を対応付け、後段のプログラムに渡せる。
元データの表が添付されていないグラフも想定し、画像の読み取りから統計値の計算、要約文の生成までをつなぐ。対象タスク向けの追加学習を行わないゼロショット設定で検討した。
従来手法との違い
比較した入力方法は、画像から直接要約するDirectと、重要情報や傾向の概要を先に作るMCoTである。提案法では途中でPythonプログラムを生成・実行し、得られた統計値を要約時に加える。
著者らの表では、Pewの面グラフに対するQwen2.5-VL-3BのBLEUはDirectの1.9350からPoTの3.3383になった。一方、Pew全体では3.3929から3.0906に下がる。効果はグラフの種類と集計範囲で変わる。
実験結果
著者らは追加学習なしで、Pewのテスト集合1,393件とVisTextのテスト集合882件を評価した。語句の一致を見るBLEUとCIDEr、ROUGEとBERTScore、事実面のUniEvalとAlignScore-largeを使い、3人による人手評価も行った。
著者らの表では、InternVL-2.5のPew全体のAlignScore-largeはDirectの23.55に対しPoTで36.87だった。同条件のBLEUは3.4041から1.9896に下がった。指標によって結果が異なるため、計算に使った値の正確さと、完成した文章の評価を分けて読む必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の月次売上グラフから、最大値と月ごとの増減を含む報告文の下書きを作る。軸、単位、凡例、値が読める画像を入力し、計算結果と短い要約を出力する。担当者が元画像と照合してから報告書に使う。
この案では追加学習用データや生成時の正解ラベルは用意しない。採用判断には元の数値表と人が確認した要約を用意する。新たなセンサーは使わず、社内グラフの表記に合わせて入力指示と照合項目を調整する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内の月次売上グラフを少数集め、画像に対応する元の数値表と、人が確認した要約を正解ラベルとして用意する。追加学習用データと新たなセンサーは使わない想定とし、まず対象となるグラフの表記に入力指示を合わせる。
同じ画像でDirectとPoTを比較し、辞書へ写した値の一致率、最大値と増減の正誤、要約中の誤記、処理時間を記録する。軸や単位が読みにくい例も含め、指示を調整した後も同じ項目で測る。担当者による確認の負担も記録する。
限界と課題
著者らは、軽量な視覚言語モデルが実行不能なPython辞書を出す場合を挙げ、変換工程を設けた。表ではDeepSeek-VL2-tinyのPew全体のBLEUがDirectの2.4676からPoTの0.2746に下がり、モデルによって結果が異なる。
編集上の検証事項は、画像から写した値や単位・凡例の正確さ、コードの実行失敗、追加工程の所要時間である。本文にはQwenがMCoTを一貫して上回るとの記述があるが、表3のPew全体のBLEUはMCoTの2.4388、PoTの3.0906である一方、VisText全体のCIDErはMCoTの0.0782、PoTの0.0826であり、この二例では矛盾しない。ただし全指標への一般化は表の個別値で確認したい。
出典
元のタイトル・要旨を確認する（英語）
From Data to Insights: Exploring Program-of-Thoughts Prompting for Chart Summarization
Charts play a critical role in conveying numerical data insights through structured visual representations. However, semantic visual understanding and numerical reasoning requirements hinder the accurate description of charts, interpreting a challenging task in chart summarization. Despite recent advancements in visual language models (VLMs), approaches lack robust mechanisms for verifying statistical fact correctness and are computationally heavy. To address this gap, this paper explores a strategy of using zero-shot learning to motivate the lightweight VLMs to perform computational reasoning, via Python programs as intermediaries to derive valid summary statistics for chart understanding. Specifically, we introduce a novel chart-to-dictionary auxiliary task, offering a more flexible representation compared to traditional chart-to-table methods, making it particularly well-suited for integration with the Program-of-Thought (PoT) strategy. Experimental results demonstrate our strategy performs on par with existing chart summarization methods across semantic and factual metrics. Code is available on https://anonymous.4open.science/r/ZeroShot-PoT-C2T-5A6B.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01