アーカイブ / AI Agent / LLM / Robotics
協調するAIの指示文を変えると、片付け作業の手順と会話はどう変わるか
CoELA Prompt Optimization
概要
- CoELAの計画・通信・行動用の指示文を変え、仮想空間で協力するAIを比較した。
- Gemma 3では、十エピソードの平均ステップ数が表の基準84.7から65.5となり、著者らは指示文による改善を22％と報告した。
- 効果はモデルごとに異なる。Gemma 3の差は著者らの検定では統計的に有意ではなく、人との協力や三者以上での評価は今後の課題である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CoELA Prompt Optimizationの仕組み
- 01仮想空間の目標と状態
- 02計画と連絡の生成
- 03行動の実行
- 04次の行動と会話
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
本研究は、仮想空間で協力するAIの計画と連絡に使う指示文を変え、作業手順と会話の変化を調べる。基盤となるCoELAでは、各AIが周囲を捉え、履歴を記憶し、計画を立て、相手に連絡して行動する。
共同作業では、連絡が曖昧だと役割分担や次の行動を決めにくい。著者らは、計画・通信・行動の指示文を比較し、課題完了までの実行回数と会話回数を測った。
手法
CoELAの計画用指示文には、目標、進捗、会話履歴、行動履歴、選べる行動を含める。言語モデルが次の行動を選び、通信用指示文に沿って相手への連絡を作る。例えば皿とフォークを片付ける課題では、残りの物と作業履歴を踏まえて行動と連絡を決める。
著者らは、目標に直結する行動を選ぶ計画用の指示と、相手に簡潔に話す指示に会話例を一つ加えた通信用のCPrompt4などを試した。行動用にも出力例を一つ示す版を設けた。一つの例で出力を導く方法をワンショットという。別途、会話ログの画面表示と音声読み上げを追加した。
新規性
著者らは、仮想空間で協力するCoELAの計画用・通信用・行動用の指示文を変更し、四つの言語モデルで組み合わせを比較した。計画の目標重視、連絡の簡潔さ、行動出力の書式をそれぞれ検討している。
会話ログを画面に表示し、音声で読み上げる機能も追加した。この機能は開発中の行動確認を助けるもので、指示文による作業手順数の変化とは別の成果である。
従来手法との違い
基準は元のCoELAの指示文である。計画用の変更では、目標・進捗・選択可能な行動を踏まえて効率のよい行動を選ぶよう明示した。通信用のCPrompt4は、説明や書式を省いて相手に直接話す指示と、一つの会話例を組み合わせる。
行動用には、次の行動を指定の形で出す見本を一つ加える版も試した。表では指示文ごとのステップ数と会話ターン数を比較できるが、最良の組み合わせはモデルや指標によって異なる。
実験結果
著者らは四つの言語モデルを使い、五つの課題に各二通りの条件を設けた計十エピソードで比較した。指標は課題完了までのスクリプト実行回数であるステップ数と、二人の会話ターン数である。
表ではGemma 3の平均ステップ数が基準84.7、改善版計画指示文とCPrompt4の組み合わせで65.5だった。著者らは新しい指示文による改善を22％と報告し、会話ターン数も9.6から4.0になった。ただし同じ組み合わせの効果は全モデルで一貫せず、著者らの検定ではGemma 3の差は統計的に有意ではなかった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：二人の仮想作業員が皿とフォークを片付ける訓練環境で、指示文による役割分担の変化を観察する。入力は目標、片付け対象、進捗、選べる行動、会話・行動履歴、仮想環境の観測情報とし、出力は次の行動と相手への連絡にする。
指示文だけを変えるなら追加の学習データと学習用ラベルは必須ではない。観測には仮想環境の状態を使い、実物のセンサーは使わない。環境に合わせて行動候補と完了条件を定め、ログから作業の重複を確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず皿とフォークの片付け課題を二人の仮想エージェントで用意し、基準の指示文と変更後の指示文を同じ条件で比べる。入力に必要な目標、進捗、行動候補、会話・行動履歴を保存し、観測には仮想環境の状態を使う。
追加の学習データと学習用ラベルは用意せず、課題の完了判定を評価用に定める。環境に合わせて行動候補と指示文を調整し、完了率、平均ステップ数、平均会話ターン数を測る。作業の重複と不明瞭な連絡もログで確認する。
限界と課題
著者らは、DeepSeek r1では指示文を変えても応答に推論過程が残りやすく、効果がモデルに依存すると報告した。人とAIの協力、三者以上の動的なチームは今後の検討対象としている。
編集上の検証事項として、表と説明文の基準ステップ数の食い違いを確認したい。Gemma 3は表で84.7、説明文で84.0、Llama 3.1は表で79.7、説明文で79.0である。別の課題や人との協力に結果を広げる前にも再評価が必要だ。
出典
元のタイトル・要旨を確認する（英語）
Improving Cooperation in Collaborative Embodied AI
The integration of Large Language Models (LLMs) into multiagent systems has opened new possibilities for collaborative reasoning and cooperation with AI agents. This paper explores different prompting methods and evaluates their effectiveness in enhancing agent collaborative behaviour and decision-making. We enhance CoELA, a framework designed for building Collaborative Embodied Agents that leverage LLMs for multi-agent communication, reasoning, and task coordination in shared virtual spaces. Through systematic experimentation, we examine different LLMs and prompt engineering strategies to identify optimised combinations that maximise collaboration performance. Furthermore, we extend our research by integrating speech capabilities, enabling seamless collaborative voice-based interactions. Our findings highlight the effectiveness of prompt optimisation in enhancing collaborative agent performance; for example, our best combination improved the efficiency of the system running with Gemma3 by 22% compared to the original CoELA system. In addition, the speech integration provides a more engaging user interface for iterative system development and demonstrations.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01