アーカイブ / VLM / AI Agent
画面録画の変化と操作履歴から現在と次の操作を読むScreenLLM
ScreenLLM
ScreenLLMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. ScreenLLM for understanding user actions and intentions in screen UIs. ScreenLLM first detects key moments in user actions and generates a stateful screen schema , a compact representation of dynamic screen UIs. It then uses the MLLM to predict user actions, while the Memory module stores and summarizes past actions to support future action understanding and prediction.
概要
- 画面録画の重要な変化から文字やカーソル位置を取り出し、操作の経過を短い記述にする。
- PsTutsの現在操作説明では、LLaVA-13Bの追加学習設定よりBLEU-2とROUGE-Lが高かった。
- 実務利用には、対象の録画と注釈を使い、読み取り精度、説明の誤り、個人情報の扱いを確認する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ScreenLLMの仕組み
- 01操作区間の画面録画
- 02重要フレーム抽出
- 03文字とカーソルを記録
- 04現在と次の操作を推定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ScreenLLMは、画面録画から利用者の現在の操作を説明し、次の操作を予測する。GUIとはボタンやメニューで操作する画面のことで、動きの少ない画面から行動の手掛かりを拾うことが課題になる。
長い録画を全フレーム調べると処理量が増える。一方、静止画一枚では、メニューを開いて道具を選ぶまでの経過が抜けやすい。著者らは画面の変化と操作履歴を短く表す方法を提案した。
手法
録画を操作ごとの区間として扱い、隣接フレーム間の画素差がどれだけ変化したかを計算して、変化の大きいフレームを選ぶ。変化した矩形領域にはOCR（画像内の文字を読み取る処理）を使い、別途学習した画像認識モデルでカーソルの位置を検出する。
最初のフレームと選んだフレームから、時刻、文字とその位置、カーソル位置などを「状態付き画面スキーマ」という時系列の記述にまとめる。例えばメニューから図形ツールを選ぶ区間なら、初期画面の画像、スキーマ、質問文、過去操作の要約を画像と文章を扱うモデルに渡し、現在の操作説明と次の操作の予測を得る。
新規性
著者らの提案は、操作区間ごとの重要な画面変化を選び、文字、位置、カーソルなどを時系列の短い記述にする「状態付き画面スキーマ」である。最初の画面だけでは追いにくい操作の経過を、モデルに渡せる形にする。
さらに、過去の操作を記録・要約するメモリーを組み合わせ、現在の操作の説明と次の操作の予測に使う。論文はこの構成を複数の基盤モデルで評価している。
従来手法との違い
著者らは、課題用の追加学習をしないゼロショット設定、基盤モデルを追加学習した設定、ScreenLLMを比較する。ScreenLLMでは、初期画面の画像と質問文に画面スキーマを添え、過去の操作も参照する。
報告された数値はPhotoshopの操作動画を使った課題での比較である。全フレームを解析する方法との処理時間や費用の実測比較は、確認できた本文の範囲では示されていない。
実験結果
著者らは、Photoshopの解説動画に操作区間の注釈を付けたPsTutsを学習と評価に使った。現在と次の操作について、説明文とツールなどの分類を評価し、文章にはBLEU-2やROUGE-L、分類には正解率を用いた。
著者らの表では、現在の操作説明でLLaVA-13Bの追加学習設定からScreenLLMへ変えると、BLEU-2は0.135から0.190、ROUGE-Lは0.329から0.383となった。相対改善率はそれぞれ40.7％、16.5％と報告されている。データ件数と学習・評価の分割比率は、確認できた本文の範囲では分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内のPhotoshop研修で、受講者の操作を講師が振り返る際の補助に使う。カーソルが見える画面録画を入力し、操作区間ごとの説明と次に行いそうな操作の候補を出力して、講師が確認する。
適用には、利用を認められた研修録画、区間ごとの説明文、ツール名などのラベルを用意する。研修で使う画面構成や用語に合わせた調整が必要で、追加センサーは想定しない。支援の有効性は現場で検証する仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用を認められた社内のPhotoshop研修録画を集め、操作区間ごとに人が説明文、ツール名、次の操作を付ける。入力は画面録画とこれらのラベルで、追加センサーは使わず、画面文字とカーソルが読める条件を確認する。
一部を評価用に分け、同じ基盤モデルの追加学習設定を比較基準にする。画面スキーマと過去操作の要約を加える調整を行い、説明文のBLEU-2、ツール分類の正解率、指定形式を満たさない割合を比べる。誤りのある区間は講師が確認する。
限界と課題
著者らは、GUIエージェントの学習に伴うデータの利用条件と利用者のプライバシーを倫理上の課題として挙げる。文脈に応じて実際の画面操作を動的に生成することも今後の研究としており、今回の結果は自動操作の成功率を示さない。
編集上の検証事項は、小さなメニュー文字やカーソルを読み取れるか、変化の少ない文字入力を拾えるか、別のソフトでも成績を保てるかである。処理速度、運用費用、録画内の個人情報の扱いも導入先で確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
ScreenLLM: Stateful Screen Schema for Efficient Action Understanding and Prediction
Graphical User Interface (GUI) agents are autonomous systems that interpret and generate actions, enabling intelligent user assistance and automation. Effective training of these agent presents unique challenges, such as sparsity in supervision signals, scalability for large datasets, and the need for nuanced user understanding. We propose stateful screen schema, an efficient representation of GUI interactions that captures key user actions and intentions over time. Building on this foundation, we introduce ScreenLLM, a set of multimodal large language models (MLLMs) tailored for advanced UI understanding and action prediction. Extensive experiments on both open-source and proprietary models show that ScreenLLM accurately models user behavior and predicts actions. Our work lays the foundation for scalable, robust, and intelligent GUI agents that enhance user interaction in diverse software environments.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01