新着研究 / AI Agent / VLM
スマホ画面の移動を事前に記録し、AIの操作回数を減らすPhoneCLI
PhoneCLI
PhoneCLIの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overall framework of the proposed PhoneCLI.
概要
- アプリを事前に巡回し、各画面までの操作列を再利用できる命令として記録する。
- 実行時は命令を選んで行き先を確認し、再生後にも到着画面を確認する。
- AndroidLabでQwen3.7-Plusの成功率は50.7％から63.0％になったが、著者らは新たな失敗例も報告している。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PhoneCLIの仕組み
- 01アプリ画面を探索
- 02画面への操作列を記録
- 03依頼から命令を選択
- 04再生後の画面を確認
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
スマホ画面を操作するAIは、各段階で画面写真を読み、次のタップやスワイプを考える。そのため、いつも同じ設定画面へ行くだけでもモデルの呼び出しが重なり、時間と処理量が増える。
アプリの内部機能を外部から直接呼べない場合でも、画面間の移動には繰り返し使える部分がある。PhoneCLIは、その移動経路を先に調べて再利用し、新しい依頼のたびに道順を考える負担を減らす。
手法
事前段階では、アプリを初期状態から巡回し、画面、操作できる要素、次の画面へのつながりを地図にする。文章による説明を加え、各画面へ着くためのタップやスワイプの列を一つの命令として保存する。例えば「通知設定へ移動」は、起動から該当画面までの決まった操作列になる。アプリ内部のAPIやモデルの再学習は使わない。
実行時には依頼文から命令を選び、その行き先が目的に合うか先に確かめる。操作列を再生した後も到着画面を確認する。地図にない操作、動的な内容の入力、到着失敗は、画面を見ながら一歩ずつ操作する視覚言語モデルへ渡す。記録済みの移動中は、各画面でモデルを呼ばない。
新規性
PhoneCLIは、一つの作業履歴を覚えるのではなく、アプリ内の画面と移動経路を先に調べ、各画面へ到達する操作列を呼び出せる命令にする。同じ画面へ向かう新しい依頼でも、その命令を使えるという設計である。
画面選択を文章で確認した後、記録済みの操作を再生し、到着画面も確認する。記録にない入力や内容の変わる画面は、通常の画像を読む操作モデルへ引き渡す。
従来手法との違い
通常のスマホ操作エージェントは、画面を撮り、画像と言葉を扱うモデルに次のタップを決めさせる処理を繰り返す。PhoneCLIは、頻繁に通る画面間の移動を記録済み操作で進め、フォーム入力など変動する部分でその方式を使う。
AndroidLabでQwen3.7-Plusを使った比較では、モデルだけの成功率50.7％に対し、画面地図を文章として渡す版は55.1％、操作再生を加えたPhoneCLIは63.0％だった。
実験結果
著者らはAndroidLabの九アプリ・138課題で評価した。Qwen3.7-Plusでは成功率が50.7％から63.0％になり、平均操作段階は7.52から6.72、平均トークン量は40.1千から34.4千へ減った。GLM-4.6Vでは41.3％から44.5％、Kimi-K3では68.8％から69.6％だった。
AndroidWorldの116課題・20アプリでも公式エージェントに組み合わせて評価したと記される。確認できた本文の範囲では、その数値結果は示されていない。事前の地図作成時間を含めた総費用の比較も、ここに挙げた数値からは判断できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内で使うスマホアプリの設定確認を自動化する。入力は「通知設定の画面を開き、現在の値を確認する」という依頼、出力は目的画面までの操作と読み取った値である。事前にそのアプリを巡回して画面地図を作り、依頼時には該当する画面への命令を選ぶ。
到着後、表示内容の読み取りが必要なら画像を読むモデルへ渡す。アプリの更新で画面構造が変わったときに誤った項目を押さないかを、導入時に重点的に調べる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象アプリを一つ選び、設定画面へ移動する依頼と、移動後に値を読む依頼を分けて用意する。通常の画面ごとのモデル操作を基準に、成功率、到着画面の一致率、モデル呼び出し回数、トークン量、所要時間を比べる。
事前探索と地図更新にかかった時間も加えて、何回の再利用で効果が出るかを測る。画面表示やアプリ版を変えた試験では、誤った画面へ着いた件数と、通常操作へ戻して回復できた件数を確認する。
限界と課題
著者ら自身の誤り分析では、通常モデルだけの失敗68件からPhoneCLIの失敗51件へ減った一方、PhoneCLIで新たに失敗した例も10件あった。したがって、失敗時に通常モデルへ戻す設計でも、成功率が必ず維持されるとは言えない。画面地図を大きくすると、命令選択が難しくなる結果も報告されている。
編集上の確認事項は、ログイン状態や通知などで画面が変わった際の到着確認、誤操作の回復、地図の更新頻度、事前探索にかかる費用である。
出典
元のタイトル・要旨を確認する（英語）
PhoneCLI: From App Interfaces to Callable Commands for Mobile Agents
Mobile GUI agents operate through a perception--action loop: at each step they screenshot the device, invoke a vision--language model (VLM), and emit an action. It is slow, costly, and brittle, yet most of what it does is navigation---and everyday navigation is static, ordered, and endlessly repeated. We present PhoneCLI, which compiles an app's GUI navigation into callable commands, without any app-internal API, runtime instrumentation, or model training. Offline, PhoneCLI explores a target app from the outside and distills its screens, interactive elements, and navigation edges into a semantically annotated map; each screen yields one deterministic command: a replay sequence that reaches it. Online, the agent selects a command, verifies it before execution, and then executes it deterministically in sub-second time at zero VLM cost; open-ended interaction and every failure of the compiled path fall back to the embedded VLM interpreter, exactly the pure VLM agent, so compilation can only help. On AndroidLab, PhoneCLI improves the task success rate while reducing steps and token consumption, and it transfers to AndroidWorld's official M3A agent with consistent efficiency gains. What PhoneCLI compiles is the app's navigation rather than one run, so it serves new tasks, not only repeated ones.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29