アーカイブ / AI Agent / LLM
WebエージェントのHTML削減を、操作に必要な情報の保持率で評価する
Minimal Failure Set Coverage Framework
Minimal Failure Set Coverage Frameworkの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Key results of our framework on WorkArena L1 (33 tasks). (a) Coverage versus end-to-end success rate for each reduction method. (b) Evaluation time comparison between end-to-end evaluation with Qwen3.5-122B-A10B ( Yang et al., 2025a ) and coverage evaluation. (c) End-to-end success rate versus per-step latency when applying each reduction method, evaluated with Qwen3.5-122B-A10B. Methods marked with * are optimized on MFS training data.
概要
- 成功した操作への除去実験から近似MFSを作り、削減後のHTMLがそれをすべて残す割合で削減法を評価する。
- 著者らの全設定の累計評価時間は、WorkArena L1で作業実行232.4時間に対し保持率評価48.2分、WebLinxで117.0時間に対し28.5分だった。
- MFSで調整した削減プログラムは、元の成功率の84％・89％を保ちながら、1手当たりの時間をそれぞれ2.2倍・3.1倍短縮したと著者らは報告する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Minimal Failure Set Coverage Frameworkの仕組み
- 01成功時のHTML
- 02参照情報の除去実験
- 03近似MFS作成
- 04保持率算出
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Webエージェントは画面を読み、クリックや入力を順に選んで作業する。画面の構造を表すHTMLは長く、著者らによるとWorkArenaのページは4万～50万トークンに及ぶ。長い入力は言語モデルの推論時間と計算費用を増やす。
HTMLを削れば入力を短くできるが、操作に必要な文字や属性まで消せば失敗し得る。削減法を作業完了まで試す評価も重い。著者らのWorkArena L1での11手法・32設定・33課題の比較には、累計232.4時間を要した。
手法
著者らは、成功した操作の各時点でHTML、エージェントが操作に関係すると申告した情報、実行した操作を記録する。HTML要素を識別子と情報の種類の組に分け、文字、タグの種類、属性を個別に除去して失敗するか調べる。MFSは「取り除くと失敗する最小の情報集合」で、申告された情報から候補を絞り、除去実験を繰り返して近似する。
例えばボタンの表示文字を消して操作が失敗するなら、その文字が候補になる。WorkArenaでの絞り込みには、失敗時の誤った操作を判定の代用として使い、各試験を1回の推論に抑えた。評価時は、削減後のHTMLが近似MFSをすべて残す事例の割合を「保持率」とし、残した文字数の割合も併記する。
新規性
著者らは、成功した操作中のHTMLから、取り除くと失敗を招く最小の情報集合を近似し、削減法がその集合を残す割合を評価指標にした。集合の作成後は、各設定を比べるたびにWeb操作や言語モデルの推論を繰り返さずに済む。
さらに、この集合を削減プログラムの調整にも使った。保持率だけでなく、残したHTMLの量と削減処理の時間を調べ、エージェント全体の1手当たりの時間と成功率で確かめている。
従来手法との違い
比較基準の「Original」はHTMLを削らずに渡すため、情報保持率は最大になる。著者らは無作為選択、アクセシビリティツリーによる選択、検索型、言語モデルを使う選択型などを、保持率と処理時間で比較した。
MFSデータで調整していない方法では、言語モデルを使う選択型は検索型より保持率が高い傾向を示したが、削減処理に時間を要した。この差はHTMLを強く削る設定ほど大きい。MFSで調整したプログラム型の方法については、削減しない場合との成功率と1手当たりの時間も比較した。
実験結果
著者らはWorkArena L1の33課題と、WebLinxのtest-iid分割から抽出した300事例を用いた。前者はWebサービスでの複数手順、後者は一手先の操作予測を評価する。成功した操作履歴から得た近似MFSはそれぞれ59件、42件で、作業成功率は独立した2回の実行の平均とした。
Qwen3.5-122B-A10Bを使う全設定の累計評価時間は、作業を実行する評価がWorkArenaで232.4時間、WebLinxで117.0時間、保持率による評価が48.2分、28.5分だった。著者らは、MFSで調整した削減プログラムがHTMLを削らない場合と比べ、元の成功率の84％、89％を保ち、1手当たりの時間をそれぞれ2.2倍、3.1倍短縮したと報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内申請画面を操作するWebエージェントに適用する。申請目的、操作履歴、各時点のHTMLを入力し、必要な項目を残した短いHTMLを次の操作判断に渡す。出力は短縮後のHTMLと、エージェントが選んだ操作である。
検討には、対象画面で成功した操作履歴、各時点のHTML、操作の成否を確かめられる環境が要る。画面取得には既存のWeb操作環境を使い、追加センサーは想定しない。要素を消して再実行した結果から必要な情報を特定し、画面固有の項目を残すよう削減規則を調整する応用仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：申請作業を少数選び、成功した操作履歴、各時点のHTML、実行した操作を記録する。候補の文字・タグ・属性を消して再実行し、成否を判定して近似MFSを作る。専用の追加センサーは想定せず、対象画面のHTMLとWeb操作環境を使う。
調整用と確認用の事例を分け、対象画面向けの削減規則を調整する。HTMLを削らない方法と単純な削減規則を基準に、MFS保持率、残した文字数の割合、削減処理を含む1手当たりの時間、作業完了率を測る。画面や作業が変わった場合も確認する。
限界と課題
著者らは、保持率がHTMLから要素を選んで残す方法向けで、要約や意味を保った別表現への変換は評価できないと述べる。また、MFSは観測した成功経路から作るため、未観測の経路に必要な情報は含まれない。
編集上の検証事項は、画面変更後にも作成済みの集合が役立つか、要素を消した際の失敗判定が安定するかである。著者らは元のHTMLに関する制約からMFS事例を再配布しないとしている。対象業務への適用では、その環境の操作履歴とHTMLから事例を作る必要がある。
出典
元のタイトル・要旨を確認する（英語）
Revisiting Observation Reduction for Web Agents: Comprehensive Evaluation with a Lightweight Framework
HTML observations in LLM-based web agents are extremely long, and while many reduction methods have been proposed, it remains unclear which methods reduce overall agent latency while maintaining performance. The main obstacle is the high cost of end-to-end evaluation: in our experiments, evaluating 11 methods across 32 configurations on 33 tasks of WorkArena L1 required 232.4 cumulative hours. To address this, we propose a lightweight evaluation framework based on the Minimal Failure Set (MFS), the minimal set of HTML elements whose removal causes task failure. We define coverage as the fraction of instances in which a reduction method fully retains the MFS, which serves as a proxy metric that requires neither web access nor LLM inference. We validate that coverage strongly correlates with end-to-end success rate, with over 100$\times$ speedup in cumulative evaluation time on both benchmarks. Using this framework, we find that extractive HTML reduction methods require either high computation cost or domain-specific optimization to reduce agent latency while maintaining performance. Building on this, we optimize a pruning program on MFS training data, achieving 2.2$\times$ faster per-step latency on WorkArena L1 while retaining 84\% of the original success rate, and 3.1$\times$ faster on WebLinx while retaining 89\%.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01