アーカイブ / LLM / AI Agent
ウェブ操作AIの電力量を測る――Mind2Webで成功率と併せて比較
Web Agent Energy Benchmarking and Estimation
概要
- 著者らは、Mind2WebでウェブエージェントのGPU電力量を測り、報告済みの操作成功率と併せて比較した。
- H100-NVLでの総電力量はAutoWebGLMが0.33±0.01 kWh、Synatraが3.31±0.04 kWhで、報告済み平均SSRはそれぞれ53.53、15.85だった。
- 独自モデル使用のLASERには推計を用いた。実測可能なMindActでも推計と実測に大きな差があり、推計値の扱いには注意が要る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Web Agent Energy Benchmarking and Estimationの仕組み
- 01Mind2Webの課題
- 02エージェント実行
- 03GPU電力量計測
- 04成功率と照合
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ウェブエージェントは、利用者の指示に従ってサイトを移動し、項目の選択や入力を行うAIである。一つの依頼でも、ページを読み、次の操作を決める処理を何度も繰り返す。
操作の成否だけを比べると、その間に使った電力が見えない。多数の業務を任せる候補を選ぶには、正しく操作できる割合に加え、同じ課題を処理する際の電力量を把握することが役立つ。
手法
著者らは、ウェブ操作の課題集Mind2Webで公開モデル使用の５エージェントを実行した。各エージェントのコードに計測用ライブラリの開始点と終了点を設け、処理中のGPU電力量を記録する。例えば、ページ上で目的の項目を選ぶ課題群について、使用電力量を平均SSRと並べる。SSRは、正しく実行できた操作段階の割合を表す指標である。
独自モデルを使うLASERは直接測れないため、著者らは公開された処理手順、入力の長さ、モデルの計算量に関する情報から電力量を推計した。同じ方法を実測可能なMindActにも適用し、推計と実測の差を確認する。推計では、１回の操作に必要な処理量を見積もり、課題数と課題あたりの平均操作数を使って総量に換算する。
新規性
著者らは、ウェブエージェントの評価に、操作の成功率と推論時の電力量を併記する方法を示した。公開モデルを使うエージェントでは、Mind2Webの課題を実行してGPUの電力量を測る。
直接測れない独自モデルについては、公開された処理手順とモデルの情報から電力量を推計する。MindActには両方を適用し、推計のずれも調べている。
従来手法との違い
実測の対象はAutoWebGLM、MindAct、MultiUI、Synapse、Synatraの５件で、いずれも公開モデルを使う。LASERは独自モデルのGPT-4を使うため、電力量は実測せず、公開情報に基づいて推計した。
H100-NVLで測った５件では、AutoWebGLMの総電力量が最も少なく、報告された平均SSRも最も高かった。この条件では、電力量の多さが良い操作結果につながるとはいえない。ただし、LASERの推計値を同じ確度の実測値として比較することはできない。
実験結果
著者らは、137サイトの2,350課題からなるMind2Webを使い、公開モデル使用の５エージェントを８種類のGPUでそれぞれ５回実行した。課題には分野・作業・サイトの違いに応じた３つの分割がある。GPU電力量の実測値を、各エージェントについて報告された平均SSRと照合した。
H100-NVLでの総電力量は、AutoWebGLMが0.33±0.01 kWh、Synatraが3.31±0.04 kWhだった。両者の報告済み平均SSRは、それぞれ53.53と15.85である。LASERの電力量は実測値ではなく推計値であり、同じ測定結果としては扱えない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の購買担当者が、指定した型番について販売サイトの価格と納期を確認する作業に適用する。入力は検索指示と対象ページ、出力は価格・納期・参照先を記した表と、各課題の計測電力量とする。
導入には対象サイトのページ記録と、担当者が確認した価格・納期の正解ラベルが要る。追加学習を試すなら、そのサイトでの操作例を学習用データとして別途用意する。候補ごとにページの読み取り方と操作設定を合わせ、計測には実行環境のGPU電力情報を使う。この業務での有効性は論文の検証対象ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：少数の価格・納期確認課題を選び、対象ページを保存して、担当者が確認した正解値と許可する操作を記録する。追加学習なしで試す場合も、正解ラベル付きの課題は評価用に必要だ。追加学習を行うなら、対象サイトでの操作例を別途集める。
候補エージェントをページ形式に合わせて設定し、同じ課題を現在の手作業でも実施する。正答件数、操作段階の成功率、所要時間を共通の条件で比べる。エージェント側は計測ライブラリでGPU電力量を記録し、計測範囲を明示する。ページ変更後にも再試行し、誤読や再操作の増減を見る。
限界と課題
著者らは、独自モデルの仕様やエージェント内部の処理が十分に分からないと、電力量の推計が不確かになると述べる。実装情報がない完全非公開のエージェントは推計もできないとしている。MindActの推計値も実測値を大きく上回った。
編集上の検証事項：MindActの推計総量は本文で8.5 kWh、表で9.01 kWhと食い違うため、単一の確定値として引用しない。実測範囲はGPUであり、業務全体の電力や排出量に読み替えない。実サイトでページや操作条件が変わった場合の成否と電力量も確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Promoting Sustainable Web Agents: Benchmarking and Estimating Energy Consumption through Empirical and Theoretical Analysis
Web agents, like OpenAI's Operator and Google's Project Mariner, are powerful agentic systems pushing the boundaries of Large Language Models (LLM). They can autonomously interact with the internet at the user's behest, such as navigating websites, filling search masks, and comparing price lists. Though web agent research is thriving, induced sustainability issues remain largely unexplored. To highlight the urgency of this issue, we provide an initial exploration of the energy and $CO_2$ cost associated with web agents from both a theoretical -via estimation- and an empirical perspective -by benchmarking. Our results show how different philosophies in web agent creation can severely impact the associated expended energy, and that more energy consumed does not necessarily equate to better results. We highlight a lack of transparency regarding disclosing model parameters and processes used for some web agents as a limiting factor when estimating energy consumption. Our work contributes towards a change in thinking of how we evaluate web agents, advocating for dedicated metrics measuring energy consumption in benchmarks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01