アーカイブ / VLM / AI Agent
文字とアイコンを別々に探し、拡大で操作位置を絞るDiMo-GUI
DiMo-GUI
DiMo-GUIの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview. DiMo-GUI searches separately within the text and icon elements based on the instruction and the screenshot.
概要
- 画面画像と指示から文字部品とアイコンを別々に探し、二つの候補から対象座標を選ぶ。
- 候補周辺を段階的に拡大し、予測座標の変化に応じて停止する。追加学習を要しない設計である。
- ScreenSpot-Proの表1でOS-Atlas-7Bの平均欄は18.9から49.7に変化した。一方、著者は初期探索の誤りから戻れない制限を挙げる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DiMo-GUIの仕組み
- 01画面画像と指示
- 02文字・アイコン別探索
- 03候補周辺を拡大
- 04二候補から選択
- 05対象座標
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DiMo-GUIは、文章で指定された画面部品の位置を画像から探す。GUIとはボタンやメニューを備えた操作画面で、指示に合う部品の座標を求める作業をグラウンディングという。
画面には似た文字、隣り合うアイコン、無関係なメニューが混在する。座標を取り違えると、画面を操作するエージェントが別の部品を押す可能性があるため、操作前の位置特定が重要になる。
手法
入力は画面画像と「保存アイコンを選ぶ」のような指示、出力は対象部品の座標である。視覚言語モデルという画像と文章を合わせて扱うモデルを使い、文字部品に注目する探索と、アイコンに注目する探索を別々に行う。それぞれ画面全体から候補座標を予測する。
各探索では予測点を中心に領域を切り出し、再び座標を予測する。最初の切り出しには元画像の半分の大きさを使う。拡大前後の予測座標の距離が拡大前画像の対角線の6分の1より小さければ停止し、拡大の上限は7回とする。最後に元の画面と指示を参照して、文字側とアイコン側の候補から一つを選ぶ。
新規性
DiMo-GUIは、文字とアイコンの探索を分け、それぞれで候補周辺を段階的に拡大してから最終座標を選ぶ。既存の視覚言語モデルに追加学習を行わず、推論時の探索手順を変える提案である。
拡大を続けるかは予測座標の変化で決め、上限も設ける。画面ごとに同じ回数だけ拡大する方式とは異なり、候補が安定した時点で探索を止める設計になっている。
従来手法との違い
著者は、元の画面から座標を一度で予測する方法と、初回予測の周辺を一度だけ拡大する方法を比較対象とした。DiMo-GUIでは候補領域を繰り返し調べ、予測座標の変化を見て停止する。
文字とアイコンを区別せずに扱う構成も検証している。表4では拡大と分離の各構成をOS-Atlas-7Bで比較するが、表1の同モデルの元の値と一致しない欄があるため、両表の数値を同一条件の差として結び付けない。
実験結果
著者は位置特定の課題であるScreenSpot-ProとScreenSpotで評価した。ScreenSpot-Proの表1では、OS-Atlas-7Bの平均欄が18.9から49.7、UGround-V1-7Bが31.4から47.4に変化した。ただし、確認できた本文の範囲では、この平均欄の指標名と正解判定条件は明示されていない。
ScreenSpotの表2でも両モデルの平均欄は上がるが、一部の内訳は下がる。本文はScreenSpot、表題はScreenSpot-v2と記す。反復回数の表3は正解率を拡大なし18.4％、3回46.7％、5回48.9％と示すが、対象データとモデルの条件は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の経費申請画面で「保存アイコンを選ぶ」という指示から候補座標を出し、クリック前に画面上で確認する。入力はその時点の画面画像と操作指示、出力は確認用の座標とする。
この案では追加学習用データを前提としない。試験には対象画面の画像と指示、正解位置を示すラベルが必要で、画像は画面取得から得る。別のセンサーは想定せず、表示倍率や窓配置が変わる場合は切り出し位置と元画面の座標の対応を調整する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象画面から文字ボタンとアイコンを含む画像、操作指示、正解部品の範囲を示すラベルを集める。追加学習用データは前提とせず、入力画像は画面取得から用意し、別のセンサーは使わない。同じ視覚言語モデルによる一度だけの座標予測を比較基準にする。
次に文字・アイコン別探索と拡大を加え、予測座標が正解部品内に入る割合、初回予測が外れた例の結果、画面一枚当たりの推論回数と所要時間を比べる。対象アプリの画面寸法に合わせて切り出しと座標変換を調整し、表示倍率や窓配置が変わる例も含める。
限界と課題
著者が明記する制限は、初期探索の誤りを訂正して戻る仕組みがないことだ。誤った領域を選ぶと、その周辺の拡大が続き、正しい対象へ到達できなくなる場合がある。著者は今後、探索を戻す仕組みを検討すると述べている。
編集上の検証事項は、初回予測が外れた例の割合、拡大によって周辺の手掛かりが失われる頻度、追加の推論に要する時間である。ScreenSpotの名称が本文と表題で異なる点や、表1と表4の元の値の違いも、数値を再利用する前に確認したい。
出典
元のタイトル・要旨を確認する（英語）
DiMo-GUI: Advancing Test-time Scaling in GUI Grounding via Modality-Aware Visual Reasoning
Grounding natural language queries in graphical user interfaces (GUIs) poses unique challenges due to the diversity of visual elements, spatial clutter, and the ambiguity of language. In this paper, we introduce DiMo-GUI, a training-free framework for GUI grounding that leverages two core strategies: dynamic visual grounding and modality-aware optimization. Instead of treating the GUI as a monolithic image, our method splits the input into textual elements and iconic elements, allowing the model to reason over each modality independently using general-purpose vision-language models. When predictions are ambiguous or incorrect, DiMo-GUI dynamically focuses attention by generating candidate focal regions centered on the model's initial predictions and incrementally zooms into subregions to refine the grounding result. This hierarchical refinement process helps disambiguate visually crowded layouts without the need for additional training or annotations. We evaluate our approach on standard GUI grounding benchmarks and demonstrate consistent improvements over baseline inference pipelines, highlighting the effectiveness of combining modality separation with region-focused reasoning.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01