アーカイブ / VLM / Computer Vision
画像化した説明図の文字を編集できるGoogleスライドへ戻す「Images2Slides」
Images2Slides
Images2Slidesの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Layered architecture of Images2Slides . The pipeline is organized into input, analysis, processing, asset management, slides generation, and output layers. A layered block diagram showing how infographic images and configuration flow through VLM analysis, validation and postprocessing, asset preparation, geometry mapping, request generation, and Google Slides API execution to produce an editable presentation.
概要
- PNG/JPGの説明図から文字と画像の領域を抽出し、文字を編集できるGoogleスライドへ再構成する。
- 著者らが生成した図版29枚で、要素回復率は全体0.989±0.057、文字領域の平均IoUは0.364±0.161だった。
- アイコンや図表は画像として残るため、線や数値まで個別に編集できるわけではない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Images2Slidesの仕組み
- 01PNG/JPG説明図
- 02VLMで領域を記録
- 03領域検証と画像切出し
- 04座標変換とAPI配置
- 05Googleスライド
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Images2Slidesは、一枚の画像になった説明図をGoogleスライド上に再構成し、文字を編集できるようにする。PNGやJPGに書き出すと、見出し、注釈、アイコンなどが画素に固定され、数字の訂正や翻訳の際に元の配置を作り直す必要が生じる。
元の編集ファイルがない場合は、文字だけを直して図全体の見た目を保つのが難しい。画像をそのままスライドに貼るのでは足りず、少なくとも文字を個別のテキスト要素として取り出すことが課題になる。
手法
画像と言語を扱うモデル（VLM）が、説明図内の文字領域と画像領域を読み取る。各領域の種類、画素上の位置、文字列などを、項目名付きのデータ形式であるJSONに記録する。処理側は記録を検証し、例えば見出しは文字として保持し、隣のアイコンは元画像から切り出す。
次に、画像の縦横比を保ちながら領域の位置をスライド上の座標へ変換する。切り出した画像をAPIが読めるHTTPSのURLに置き、Google Slides APIの一括操作で文字枠と画像を配置する。小さい文字はサイズを補正し、隣の領域に重ならない範囲で文字枠を広げる。
新規性
著者が実装したのは、画像内の文字と画像部品を共通の領域JSONで表し、Googleスライドの要素として再配置する一連の処理である。領域JSONは、要素の種類、位置、文字列などを記録する形式で、複数の画像と言語を扱うモデルに対応する。
領域IDから再実行時にも使える要素IDを作るほか、小さい文字のサイズを補正し、隣の領域との重なりを避けながら文字枠を広げる工夫を加えた。
従来手法との違い
比較の出発点は、文字も図も画素に固定されたPNG/JPGである。Images2Slidesは文字を選択して直せるテキスト要素として作り直すため、画像しか残っていない説明図の文言をスライド上で修正できる。
アイコンや図表は元画像から切り出した画像要素として置く。線や数値を個別に編集できる図表へ変換する方式ではない。確認できた本文の範囲では、別の変換方式と精度や作業時間を直接比較した結果はない。
実験結果
著者らは、正解の領域位置が分かるようプログラムで作成した説明図を画像化し、Google Geminiを使って再構成した。報告対象は完了した29回の実行で、各画像は1600×900画素。数値は実行間の平均±標準偏差である。
同じ種類の正解領域を見つけた割合は全体0.989±0.057、文字0.985±0.083、画像1.000±0.000だった。文字誤り率CERは0.033±0.149。領域同士の重なりを示すIoUの平均は文字0.364±0.161、画像0.644±0.131で、文字の配置にはずれが残る。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：広報担当者が、元の編集ファイルを失った日本語の説明図を翻訳する。使用権を確認したPNG/JPGと承認済みの訳文を入力し、文字を差し替えたGoogleスライドを出力する。担当者が改行、図との位置関係、画像として残る数値を確認して配布する。
この案は既存モデルを使い、追加学習用の画像や領域ラベル、センサーを必要としない。適応作業は訳文の入力、文字枠の調整、切り出された図の目視確認であり、翻訳後の見た目や作業時間の改善は検証が必要である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：使用権を確認した実際の説明図を少数選び、Images2Slidesの出力と担当者による手作業の再作成を同じ画像で比べる。追加学習用データとセンサーは使わない。元の編集ファイル、または人手で付けた文字・画像の領域ラベルを検証用の正解とする。
文字修正に要する時間、見落とした要素数、文字誤り率、領域の重なりを測る。訳文を使う場合は、文字枠と改行の調整を適応作業に含める。画像として残った図表の数値を別途直す必要があるかも記録する。
限界と課題
著者らは、複雑な図形、グラデーション、図表をスライド固有の編集可能な要素へ完全には戻せないと述べる。評価では文字の分割・結合の誤り、文字枠や改行のずれ、装飾的または低コントラストの文字の読み違いを報告した。
編集上の検証事項は、実務の図版でも文字位置と可読性を保てるか、画像部品の公開アクセス可能なURLを用意できるかである。背景の処理も図版ごとに確認したい。報告された数値は生成した図版での結果であり、実務資料で同じ成績になるとは示されていない。
出典
元のタイトル・要旨を確認する（英語）
From Dead Pixels to Editable Slides: Infographic Reconstruction into Native Google Slides via Vision-Language Region Understanding
Infographics are widely used to communicate information with a combination of text, icons, and data visualizations, but once exported as images their content is locked into pixels, making updates, localization, and reuse expensive. We describe \textsc{Images2Slides}, an API-based pipeline that converts a static infographic (PNG/JPG) into a native, editable Google Slides slide by extracting a region-level specification with a vision-language model (VLM), mapping pixel geometry into slide coordinates, and recreating elements using the Google Slides batch update API. The system is model-agnostic and supports multiple VLM backends via a common JSON region schema and deterministic postprocessing. On a controlled benchmark of 29 programmatically generated infographic slides with known ground-truth regions, \textsc{Images2Slides} achieves an overall element recovery rate of $0.989\pm0.057$ (text: $0.985\pm0.083$, images: $1.000\pm0.000$), with mean text transcription error $\mathrm{CER}=0.033\pm0.149$ and mean layout fidelity $\mathrm{IoU}=0.364\pm0.161$ for text regions and $0.644\pm0.131$ for image regions. We also highlight practical engineering challenges in reconstruction, including text size calibration and non-uniform backgrounds, and describe failure modes that guide future work.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01