アーカイブ / AI Agent
業務AIの評価課題を、単一の制約定義から作るAnchor
Anchor
Anchorの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Artifact drift. Inconsistencies between a task’s four artifacts—instruction I I , environment E E , oracle solution x ∗ x^{*} , and verifier V V —each invalidate the intended task τ \tau in a different way. Diagram of the four task artifacts and the four failure modes that arise when they disagree.
概要
- 業務規則を制約プログラムにし、指示・初期状態・正解・採点器を同じ定義から生成する。
- ERP-Benchの評価では、条件をすべて満たした試行が26.1%、完全な最適解は17.4%だった。
- PoCではAIの失敗と課題定義の欠陥を分け、最終状態の業務上の正しさを確認する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Anchorの仕組み
- 01業務規則と条件
- 02制約問題を解く
- 03課題と採点器を生成
- 04AIの最終状態を採点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
業務を行うAIエージェントを評価するには、指示に合うデータが環境にあり、何を成功とするかが明確でなければならない。指示、初期データ、正解、採点規則が食い違うと、解けない課題や、業務を終えていないのに得点できる課題が生じる。
購買や製造では、在庫、納期、価格、記録のつながりなど複数の条件を同時に守る必要がある。単に操作を終えたかを見るだけでは、業務上正しい結果に達したか判断しにくい。
手法
専門家と技術者が、発注数量や製造順序などの選択肢、守るべき条件、最小化したい費用を制約プログラムに記す。制約ソルバーは設定された数値で課題が解けるかを判定し、最適な結果を証明する。例えば在庫で足りない受注を、仕入先の最低発注量と納期を守って補う計画を解く。
その同じ定義から、AIへの自然文の指示、ERP内の開始データ、参照用の最終状態、採点器を作る。採点器は操作の順序ではなく、残った業務記録が条件を満たし、費用や注文とのひも付けが適切かを調べる。
新規性
Anchorは、業務課題の指示、開始時の環境、正解となる最終状態、採点器を、一つの解かれた制約定義から生成する。四つを別々に作ることで内容が食い違う「成果物のずれ」を、生成手順の段階で減らす設計だ。
制約を満たす候補だけを採用し、数理ソルバーが最適値を証明するため、行動順が一つに限られない課題でも最終状態を採点できる。パラメータを変えて難度の異なる課題を作り、同じ採点の考え方で比較できる。
従来手法との違い
一般的な業務エージェントの評価課題では、指示文、初期データ、模範解答、採点規則が別々に作られると、指示に必要な情報が環境にない、採点器が要求外の結果を通すといった不一致が起こり得る。
Anchorは業務規則を制約プログラムへ先にまとめ、そこから四つの成果物を作る。論文はERP-Bench内で無操作のエージェントが得点しないことなどを確認しているが、既存の全評価基盤に対する一般的な優位性を測った比較ではない。
実験結果
著者はOdoo 19の購買・製造業務で、29種類の手順から300課題のERP-Benchを作成した。五つのモデルと、コード操作、ブラウザー操作、画面上のクリック操作の三方式を評価し、計18,000試行を予定したと記す。
全試行で明示された条件を満たした割合は26.1%、完全な最適解に達した割合は17.4%だった。五回以内の成功率pass@5は、易しい課題から難しい課題へ、コード操作で70.5%から22.3%、ブラウザー操作で46.5%から7.7%へ下がったと著者は報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製造業の購買担当AIを導入する前に、発注・在庫補充の練習課題を作る。入力は品目、在庫、納期、仕入先の数量条件と価格、守るべき業務規則で、出力はAIへの作業指示、模擬ERPの初期状態、最適な発注結果、採点規則とする。
AIが操作した後、注文を満たしたか、納期と仕入条件を守ったか、支出が基準に比べてどうかを最終状態で判定する。担当者は失敗した制約を確認し、実業務へ進める前に弱点を絞って改善する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内で規則が明文化された購買業務を一種類選び、担当者とともに初期データ、必須条件、費用目標を定義する。無操作でも点が入らないこと、既知の正解が満点になることを先に確認してから、AIへ同じ課題を複数回実行させる。
人手による模擬操作を基準に、条件充足率、最適費用との差、注文と請求のひも付け、訂正が必要な件数を測る。失敗時にはAIの操作ミスと課題定義の不足を分けて調べ、採点結果をそのまま導入判断に使わない。
限界と課題
著者は、業務の形式化に専門家と技術者の作業が要ることを主な費用として挙げる。制約プログラムが重要な規則を欠けば、そこから作る課題も正しくならない。自然文への変換が曖昧になる可能性も残る。
評価できるのはERP内の最終状態に表れる仕事が中心で、交渉や暗黙の管理判断には向きにくいと著者は述べる。編集上は、実際の社内規則と例外処理をどこまで記述できるか、模擬環境の初期データが現場の難しさを反映するかを確認したい。
出典
元のタイトル・要旨を確認する（英語）
Anchor: Mitigating Artifact Drift in Agent Benchmark Generation
AI agents are beginning to complete valuable, long-horizon business operations tasks, but training and evaluation environments for enterprise work still struggle to balance realism, verifiability, and scale. Environment and task creation frequently suffers from a failure mode we call artifact drift: when instructions, environments, oracles, and verifiers are created by loosely coupled processes, they frequently disagree on what a task requires, producing environments that are unsolvable, reward-hackable, or inconsistent. We introduce Anchor, a task-generation pipeline that formalizes domain experts' specifications of business workflows into constraint optimization programs. From a single parametric specification, the pipeline jointly produces a natural-language instruction, environment configuration, solver-certified ground-truth solution, and state-based verifier. With Anchor, altering parameters yields new tasks with controlled difficulty and known optimal solutions, producing harness-agnostic environments whose rewards depend solely on end-state business correctness. We apply Anchor to produce ERP-Bench: a benchmark of 300 long-horizon tasks spanning procurement and manufacturing workflows in a production-grade ERP system. We find that generation parameters predict realized difficulty, and that frontier models satisfy explicit task constraints in 26.1% of trials but reach a fully optimal solution in only 17.4% of trials. Overall, we show that Anchor and ERP-Bench offer a concrete recipe for building auditable evaluation environments for economically valuable agent work. We release the task generator and ERP-Bench dataset at erpbench.ai
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29