アーカイブ / LLM / AI Agent
計画役と実行役を交互に学習させ、AIエージェントの連携を整える
MOAT
MOATの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Comparison between (a) previous independent training method and (b) our joint alignment tuning method MOAT. The MOAT performs iterative joint tuning to align agent capabilities and improve coordination.
概要
- MOATは計画役と実行役を交互に調整し、相手が扱える小目標と操作列を学習する。
- 六つの質問応答・計算・ウェブ操作ベンチマークで、著者らは既存方式より高い平均成績を報告。
- 実務では最終完了率に加え、批評モデルの修正品質と道具操作の誤りを検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MOATの仕組み
- 01利用者の課題
- 02小目標候補の生成
- 03計画役の調整
- 04実行役の調整
- 05道具の操作列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
複数の大規模言語モデルに仕事を分けると、計画役が作った手順を実行役が道具の呼び出しへ変換できない場合がある。小目標は大きな依頼を分けた一つずつの作業、道具の呼び出しは検索や計算など外部機能への操作を指す。
著者らは、各役を独立に学習させることが、この能力のずれを残すと考えた。連携の質は個々のモデルの得点だけでは測れず、計画から操作までを通した結果が必要になる。
手法
MOATは、まず計画役に複数の小目標列を出させる。実行役が正しい操作列をどれだけ出しやすいかをパープレキシティという予測のしにくさの指標で測り、低い候補を好むよう計画役を調整する。ここで用いる直接選好最適化は、良い候補と悪い候補の組から学ぶ方法である。
次に、候補の小目標から実行役が操作列を作る。批評モデルが成否を判定し、失敗した列は正解を参照して修正してから実行役の学習に使う。例えば計算問題なら、計画役が「数量を合計する」と分け、実行役が計算機の呼び出しを作る。この二段階を交互に繰り返す。
新規性
MOATは、計画役と実行役を別々に仕上げる代わりに、相手の実際の出力を使って交互に調整する。計画役は実行役が扱いやすい小目標を学び、実行役は計画役が作る小目標への対応を学ぶ。
実行役自身が生成した操作列を批評モデルで検査・修正してから学習に使う点も重要である。著者らは、この反復による期待報酬の非減少と収束を理論的に主張している。
従来手法との違い
主な比較相手は、役割ごとに別のデータで調整するAgent Lumosである。個別学習では、計画役が実行しにくい小目標を出したり、実行役が計画役の表現を解釈できなかったりする、と著者らは説明する。
MOATは相手の出力を学習に取り込み、このずれを減らす。表にあるMistral系の未学習課題平均はAgent Lumosの49.2に対しMOATが53.6で、著者らは4.4ポイントの改善と報告する。
実験結果
著者らは質問応答のStrategyQA・HotpotQA、計算のGSM8K・SVAMP、ウェブ操作のMind2Web・WebShopで評価した。前者三つを学習時に使う課題、後者三つを未学習課題とし、完全一致率、正解率、操作手順の成功率、平均報酬を用いた。
要旨では既存方式に対する平均改善を学習時の課題で3.1％、未学習課題で4.4％と報告する。表ではLlama-2-7Bの学習時平均がAgent Lumosの41.1に対し44.1、未学習課題平均が49.6に対し52.3だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の問い合わせを調査し、回答案を作る二役の支援システムに使う。入力は問い合わせ文と利用可能な検索・計算手段で、計画役は「対象文書を探す」「数値を照合する」といった小目標を出す。
実行役は各小目標に対応する操作を選び、取得した情報を回答案にまとめる。過去の解決済み案件で、計画が実行可能か、操作が正しいかを確認してから両者を調整する。これは論文の実験対象とは別の応用案である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正解の操作履歴がある小規模な業務課題を用意し、同じ基盤モデルで独立学習した計画役・実行役を比較基準にする。計画の候補、操作列、批評モデルの修正前後を保存し、誤りがどの段階で生じたか追えるようにする。
未使用の課題で最終的な完了率、正しい道具呼び出しの割合、操作回数を比べる。批評モデルの修正は人が標本確認し、誤った修正を学習に混ぜたときの影響も記録する。計画の読みやすさだけで成功を判断しない。
限界と課題
著者らの実験は質問応答、計算、ウェブ操作の六つのベンチマークに基づく。表からは、同じ方式でも課題や基盤モデルで得点が異なることが分かり、すべての業務で同じ改善幅を見込む根拠にはならない。
編集上の確認点は、批評モデルによる修正が正しいか、操作の誤りが後段へ伝わらないか、調整に必要な正解操作列を用意できるかである。理論上の収束という主張と、現場の有限回の学習での安定性も分けて確かめたい。
出典
元のタイトル・要旨を確認する（英語）
Bridging the Capability Gap: Joint Alignment Tuning for Harmonizing LLM-based Multi-Agent Systems
The advancement of large language models (LLMs) has enabled the construction of multi-agent systems to solve complex tasks by dividing responsibilities among specialized agents, such as a planning agent for subgoal generation and a grounding agent for executing tool-use actions. Most existing methods typically fine-tune these agents independently, leading to capability gaps among them with poor coordination. To address this, we propose MOAT, a Multi-Agent Joint Alignment Tuning framework that improves agents collaboration through iterative alignment. MOAT alternates between two key stages: (1) Planning Agent Alignment, which optimizes the planning agent to generate subgoal sequences that better guide the grounding agent; and (2) Grounding Agent Improving, which fine-tunes the grounding agent using diverse subgoal-action pairs generated by the agent itself to enhance its generalization capablity. Theoretical analysis proves that MOAT ensures a non-decreasing and progressively convergent training process. Experiments across six benchmarks demonstrate that MOAT outperforms state-of-the-art baselines, achieving average improvements of 3.1% on held-in tasks and 4.4% on held-out tasks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29