アーカイブ / AI Agent / Robotics
台所ロボットは、どの指示で確認を求めるべきか――曖昧な指示を比べるデータセット
AmbiK
AmbiKの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Ambiguity types in the Ambik dataset.
概要
- AmbiKは、台所での曖昧な指示1000件と対応する明確な指示1000件を収録する文章データセット。
- 環境説明、確認質問と回答、利用者の意図、作業計画が付き、曖昧さを好み・常識・安全に分ける。
- 著者らの比較では既存の曖昧さ検出法はいずれも苦戦し、候補集合の正しさを示す指標は20％未満だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AmbiKの仕組み
- 01台所の環境文と指示
- 02曖昧な指示を作成
- 03人が対と注釈を確認
- 042000件の課題
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
台所ロボットへの「カップを取って」という指示は、カップが一つなら明確でも、複数あれば選択を誤りうる。行動計画に大規模言語モデルを使う際、こうした曖昧さを見抜き、必要なときだけ利用者に尋ねることが課題になる。
既存の曖昧さ検出法は異なるデータで試され、結果を比べにくい。AmbiKは、環境の記述と指示を文章にそろえ、判断方法そのものを比較するために作られた。
手法
AmbiKは、台所にある物の文章による説明を用意し、各環境について明確な指示と曖昧な指示を一組にする。例えば陶器とガラスのマグがある環境で、「陶器のマグに注ぐ」を「マグに注ぐ」へ変える。後者は注ぐ先を一意に決められず、好みに関する確認が必要な課題になる。
作成には言語モデルを使い、人が候補を選び、回答を確認した。各組には曖昧さの種類、確認質問と回答、利用者の意図、作業計画が付く。「明確／曖昧」の判定に加え、計画のどこで選択が分かれるかを調べられる文章データになっている。
新規性
AmbiKの特徴は、同じ台所の説明を使い、表現の差を小さくした曖昧な指示と明確な指示を対にした点にある。指示だけでなく、確認用の質問と回答、利用者の意図、作業計画も付けている。
曖昧さを「好み」「常識」「安全」に分けたのも、ロボットが確認を求めるべき場面を区別するためだ。著者らは、この分類を使って確認判断の適切さを測っている。
従来手法との違い
比較対象のKnowNoには曖昧な指示が170件あり、著者らによれば、解消用の質問などは付いていない。AmbiKは曖昧な指示を1000件含み、対応する明確な指示と同じ環境の下で判断を比べられる。
論文は、KnowNo、LAP、LofreeCPという三つの曖昧さ検出法と、Binary、No Helpという二つの基準法をAmbiKで評価した。ここでの比較対象は指示への判断方法であり、実機の作業成功率ではない。
実験結果
著者らは1000組、計2000件を作り、曖昧さの内訳を好み42％、常識42.5％、安全15.5％と報告した。三人の注釈者による一致率は95％超。評価ではGPT-3.5、GPT-4、Llama-2-7B、Llama-3-8Bを用い、予測に利用者の意図が含まれる割合や確認判断の適切さなどを測った。
著者らによると、比較した手法はいずれも苦戦し、選択候補の集合が正しい候補とどれだけ重なるかを示す指標は20％に達しなかった。数値は文章上の課題に対する結果で、実機での安全性や作業成功率を示すものではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：調理補助ロボットの指示受付で、利用者の発話と、その場にある器具・食器の一覧を入力にする。「マグに注いで」と言われ、陶器製とガラス製のマグがあるなら、機種が作業計画を確定する前に確認要否を判定する。
出力は「確認する／進める」の判断と、確認する場合の短い質問にする。AmbiKの対になった指示を使い、器具を特定した言い方に変えたとき、不要な確認が減るかを確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：台所で想定する指示を、物の配置文とともに少数集め、AmbiKと同様に曖昧な文と明確な文を対にする。人が各対の意図、確認の必要性、危険な選択肢を記録し、既存の指示受付方法を基準にする。
候補方式には同じ文章を入力し、好みを尋ねられた割合、明確な指示での余計な質問率、安全に関わる見落とし率を別々に測る。正しい質問文を出せるかも人が確認し、確認判断だけの点数と混同しない。
限界と課題
著者らが報告する主な限界は、評価した方法が曖昧な指示と明確な指示を十分に見分けられず、確認が常時またはほぼ皆無になりがちな点である。確認質問を適切に作れるかは評価対象に含めていない。
編集上の確認事項として、AmbiKは英語の文章による台所の課題で、過去の会話を使わない設定である。実際の台所では視覚情報、作業途中の状態、利用者の既知の好みが加わるため、同じ判断傾向が続くかは別に検証する必要がある。
出典
元のタイトル・要旨を確認する（英語）
AmbiK: Dataset of Ambiguous Tasks in Kitchen Environment
As a part of an embodied agent, Large Language Models (LLMs) are typically used for behavior planning given natural language instructions from the user. However, dealing with ambiguous instructions in real-world environments remains a challenge for LLMs. Various methods for task ambiguity detection have been proposed. However, it is difficult to compare them because they are tested on different datasets and there is no universal benchmark. For this reason, we propose AmbiK (Ambiguous Tasks in Kitchen Environment), the fully textual dataset of ambiguous instructions addressed to a robot in a kitchen environment. AmbiK was collected with the assistance of LLMs and is human-validated. It comprises 1000 pairs of ambiguous tasks and their unambiguous counterparts, categorized by ambiguity type (Human Preferences, Common Sense Knowledge, Safety), with environment descriptions, clarifying questions and answers, user intents, and task plans, for a total of 2000 tasks. We hope that AmbiK will enable researchers to perform a unified comparison of ambiguity detection methods. AmbiK is available at https://github.com/cog-model/AmbiK-dataset.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-30