アーカイブ / Computer Vision / VLM
幾何図形の画像から描画コードへ――座標の手掛かりと描き直しを組み合わせるGeo-Code
Geo-Code
Geo-Codeの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) origin
概要
- Geo-Codeは図形画像と説明文から点や線の関係を抽出し、描画コードを生成して画像との差分で修正する。
- 著者らは画像、幾何属性、コード、描画結果を組にした1,510件のデータを構築した。
- 四つのデータセットでの平均シャンファー距離は13.06画素で、比較対象のgemini-3-flash-previewの47.26画素より小さかった。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Geo-Codeの仕組み
- 01幾何画像と説明文
- 02頂点と関係を抽出
- 03コード生成と描画
- 04差分で修正
- 05コードと再構成図
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
幾何図形を後から編集するには、画像を描いた元のコードが役立つ。しかし画像だけが残っている場合、点の位置や線のつながりを推測してコードに戻さなければならない。
見た目が近い再描画でも、交点や中点などの関係が変われば、図を使った推論や教材編集に支障が出る。Geo-Codeは、図形の意味と描画位置を保ちながらコードを復元する問題を扱う。
手法
最初に画像処理で線の交点や角などの候補座標を探し、画像を読むモデルが不要な候補を除く。同時に説明文から「直角」「中点」といった制約を取り出し、点と線のつながりを示す骨格にまとめる。画素単位のアンカーとは、図形の要素を具体的な画像上の位置に結び付ける手掛かりである。
次に骨格から描画コードを作って実行し、元画像と再描画を比べる。輪郭間の平均的な距離を表すシャンファー距離などを差分図に反映し、欠けた線やずれた点に応じてコードを修正する。論文の例では立方体の頂点や辺の中点を扱う。
新規性
著者らの主張する進歩は、画像から直接コードを推測せず、画素上の交点や頂点を幾何学的な手掛かりとして確定してから描画する二段階構成にある。図形の接続関係と見た目の両方を修正対象にする。
さらに、元画像と描き直した画像の差を視覚的な差分図に変え、コードを繰り返し修正する。画像、幾何属性、実行可能コード、描画結果を組にした1,510件のデータも構築した。
従来手法との違い
比較対象には、図形画像からコードを生成するMatPlotCodeやFigCodifier、一般的な画像理解モデルを使う方法が含まれる。元画像に対応するコードがない場合、図形の点や線の関係を読み違えると、その誤りが描画結果にも残る。
Geo-Codeでは先に画像上の候補点と文章中の制約から骨格を作り、描画後に元画像と照合する。論文の比較ではV-Thinkerも取り上げており、構造を示す指標と画素上の距離の両方を報告している。
実験結果
著者らはMathVerse、AuxSolidMath、GeoQA、GeoSketchの四つで再構成を比較した。元図と再描画図の線の関係や点の有無を採点し、標準化した1000画素の画面で画像類似度と輪郭間の距離も測った。
四つの平均でGeo-Codeの配置評価LOは98.04点、比較対象のgemini-3-flash-previewは91.31点だった。シャンファー距離はそれぞれ13.06画素と47.26画素で、小さいほど近い。著者らは再構成図を使う幾何問題でも、原図と同等の成績だったと報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:教材に載った幾何図形を再編集可能な図にする。入力は図形の画像と、「この点は辺の中点」といった問題文の制約、出力は描画コードと再構成画像とする。担当者は元図と重ねて確認し、必要な線やラベルを直す。
コード化できれば、補助線を足した別版の図を作る作業につなげられる。ただし、図が似ていても直角や交点の意味が違う場合があるため、公開前に図形の条件を問題文と照合する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:手元の教材から、直角記号、中点、補助線を含む図を選ぶ。既存の手作業による描き直しを基準に、画像と問題文から得たコードを実行して再構成図を作る。
元図との輪郭距離だけでなく、指定した点・線・交点・ラベルの一致数を記録する。担当者が修正した箇所と所要時間も残し、図形の意味を保つためにどこまで自動化できるか判断する。
限界と課題
著者らの表では、Geo-Codeの平均ハウスドルフ距離は95.90画素で、最も離れた箇所にはなお差がある。画像類似度SSIMも0.8456であり、完全な画素再現を示す値ではない。論文が示す優位性は報告されたデータと指標の範囲で読む必要がある。
導入側では、細い補助線、重なった文字、曖昧な図形制約で誤った接続が生じないかを確認したい。自動評価に大規模モデルの採点も含まれるため、用途に必要な幾何条件は人が別途照合する。
出典
元のタイトル・要旨を確認する(英語)
Geo-Code: A Code Framework for Reverse Code Generation from Geometric Images Based on Two-Stage Multi-Agent Evolution
Program code serves as a bridge linking vision and logic, providing a feasible supervisory approach for enhancing the multimodal reasoning capability of large models through geometric operations such as auxiliary line construction and perspective transformation. Nevertheless, current inverse graphics methods face tremendous challenges in accurately reconstructing complex geometric details, which often results in the loss of key geometric constraints or structural distortion. To address this bottleneck, we propose Geo-coder -- the first inverse programming framework for geometric images based on a multi-agent system. Our method innovatively decouples the process into geometric modeling via pixel-wise anchoring and metric-driven code evolution: Stage 1 leverages the complementary advantages of visual operators and large models to achieve precise capture of pixel coordinates and visual attributes; Stage 2 introduces a synthesis-rendering-validation closed loop, where bidirectional visual feedback drives the self-correction of code. Extensive experiments demonstrate that Geo-coder achieves a substantial lead in both geometric reconstruction accuracy and visual consistency. Notably, by effectively preserving the core geometric semantics, the images reconstructed with our method exhibit equivalent performance to the original ones in multimodal reasoning tasks, which fully validates the robustness of the framework. Finally, to further reduce research costs, we have open-sourced the Geo-coder dataset constructed on the GeoCode framework, which contains more than 1,500 samples. On this basis, we have also open-sourced the GeocodeLM model, laying a solid data and model foundation for subsequent research in this field.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-09-29




