アーカイブ / LLM / AI Agent
曖昧な相談に、いつ聞き返すか――複数往復の対話で測る確認能力
ClarifyMT-Bench / ClarifyAgent
ClarifyMT-Bench / ClarifyAgentの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Illustration of clarification in user–LLM interactions. The upper example shows an under-clarified response that fails to capture user intent, while the lower example demonstrates effective clarification through follow-up questions, leading to user satisfaction. The user response may contain contradictory or vague information, labeled in red and gray respectively.
概要
- 六種類の模擬利用者を使い、6,120件の複数往復対話で確認と回答の切り替えを評価する。
- 十モデルの評価で、早すぎる回答や、対話が進んだ時の正答率低下が報告された。
- ClarifyAgentは曖昧さ、利用者の応答傾向、未解決条件を追って次の行動を決める。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ClarifyMT-Bench / ClarifyAgentの仕組み
- 01曖昧な依頼と返答
- 02曖昧さと応答傾向の把握
- 03未解決条件の追跡
- 04確認質問か回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
利用者の依頼には、対象や期間、判断基準が抜けていることがある。そのまま回答すると、もっともらしい文章でも別の意図に答えてしまう。対話が続けば、後から曖昧な返事や矛盾した情報が加わるため、最初の一文だけで判断する試験では実務上の難しさを捉えにくい。
この研究は、対話モデルが必要な時に聞き返し、十分な情報が集まった時に回答へ移れるかを扱う。問い合わせや相談業務では、確認不足と確認過多の両方が利用者の手間につながる。
手法
ClarifyMT-Benchは、言葉の意味、目的、文脈、共有知識、対話中の返答に生じる曖昧さを整理する。初期の質問と確認質問の組を作り、人手で不適切な例を除いた後、六種類の模擬利用者の返答を加えて複数往復の対話にする。各時点で「確認」か「回答」かの参照行動を持たせ、モデルの選択と照合する。
ClarifyAgentでは、Perceiverが依頼から情報不足を見つけ、Forecasterが利用者の応答傾向を見積もる。Trackerは必要な情報欄が未記入か、埋まったか、矛盾しているかを追い、Plannerが次の行動を決める。例えば天気を尋ねる依頼で場所だけ分かり、日付が不明なら、日付を聞く判断につなげる。
新規性
著者らの主張する前進は、質問を一度作る能力だけでなく、利用者の返答を受けて「再び聞くか、答えるか」を各時点で評価できる点にある。初期の質問に関する曖昧さを分類し、曖昧・矛盾・話題外など六種類の模擬利用者の応答へ展開した。
改善手法のClarifyAgentは、曖昧さの把握に加えて利用者の応答傾向を予測し、未解決の情報を追跡して次の行動を選ぶ。ベンチマークの構築と、そこで試す対話手法の提案が一組になっている。
従来手法との違い
著者らによる関連研究の整理では、CLAMBERは主に一往復の確認質問、ClarQ-LLMは対象業務を絞った複数往復の確認を扱う。ClarifyMT-Benchは自由な話題で、協力的とは限らない利用者との複数往復を評価対象に加える。
評価した通常の対話モデルには、必要な確認をせず答える傾向が見られた。一方、拒否する利用者への対応では、確認を続けすぎる問題も報告されている。したがって、質問の回数を増やすだけでは改善を測れない。
実験結果
著者らは、初期の質問と確認質問の組1,020件を六種類の模擬利用者へ展開し、計6,120対話を作成した。対話は二、三往復、平均2.67往復。十の言語モデルを全件で評価し、各時点の「確認／回答」が参照行動と一致した割合を主な指標とした。
例としてGPT-4.1の曖昧さ別平均正答率は、第一時点77.7%、第二時点56.9%、第三時点55.9%だった。著者らは、対話が深まると多くのモデルで成績が落ちると報告する。確認質問の質も別に評価しているが、ここに示す数値は行動選択の正答率である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の問い合わせ窓口で、依頼文に不足する条件を聞き返す対話を試す。入力は「先月の障害をまとめて」のような依頼と、その後の利用者の返答。出力は次の確認質問、または条件を明示した回答とする。
例えば対象サービスや期間を確認し、返答が「たぶん東側」のように曖昧なら未確定の条件として残す。矛盾する返答や確認への拒否も試験例に含め、回答へ進む判断を記録する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：過去の問い合わせから、条件不足、矛盾、話題外の返答、確認拒否を含む少数の対話を選ぶ。担当者が各時点で確認すべきか回答すべきか、必要な条件は何かを記録し、現行の対話モデルを基準にする。
候補手法では同じ対話を再生し、行動選択の一致率と、必要なのに回答した件数、回答できるのに聞き続けた件数を比べる。最終回答の対象や期間が依頼と合うかも人が確認し、模擬対話での成績を実務の効果と混同しない。
限界と課題
著者らは、公開話題ごとに必要な情報欄を明示的には注釈していないと述べる。また模擬対話を二、三往復に抑えた理由として、長く生成すると不自然な対話の癖や模擬利用者の誤りが重なりうる点を挙げる。
導入時には、実際の問い合わせで同じ確認基準が妥当かを別途確かめたい。模擬利用者の返答に合わせて得た正答率だけでは、実利用者が質問を理解し、最終回答に納得したかまでは判断できない。
出典
元のタイトル・要旨を確認する（英語）
ClarifyMT-Bench: Benchmarking and Improving Multi-Turn Clarification for Conversational Large Language Models
Large language models (LLMs) are increasingly deployed as conversational assistants in open-domain, multi-turn settings, where users often provide incomplete or ambiguous information. However, existing LLM-focused clarification benchmarks primarily assume single-turn interactions or cooperative users, limiting their ability to evaluate clarification behavior in realistic settings. We introduce \textbf{ClarifyMT-Bench}, a benchmark for multi-turn clarification grounded in a five-dimensional ambiguity taxonomy and a set of six behaviorally diverse simulated user personas. Through a hybrid LLM-human pipeline, we construct 6,120 multi-turn dialogues capturing diverse ambiguity sources and interaction patterns. Evaluating ten representative LLMs uncovers a consistent under-clarification bias: LLMs tend to answer prematurely, and performance degrades as dialogue depth increases. To mitigate this, we propose \textbf{ClarifyAgent}, an agentic approach that decomposes clarification into perception, forecasting, tracking, and planning, substantially improving robustness across ambiguity conditions. ClarifyMT-Bench establishes a reproducible foundation for studying when LLMs should ask, when they should answer, and how to navigate ambiguity in real-world human-LLM interactions.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-30