アーカイブ / LLM
数学の問題が不完全なとき、推論モデルは必要な情報を聞けるか
CRITIC-math
CRITIC-mathの原論文から掲載した図です。細部はクリックして拡大できます。
出典：CRITIC-math / arXiv ↗概要
- CRITIC-mathは、数学問題の目標または前提を欠かせ、必要な情報を質問できるか評価する。
- 著者らは、MATH 500由来の集合でDeepseek R1の質問判断の正確度が、問題文だけの条件では38.74%、質問を促す条件では62.89%だったと報告した。
- 業務への適用には、足りない条件を適切に聞けるかと、条件がそろった相談に不要な質問をしないかの両方を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CRITIC-mathの仕組み
- 01元の数学問題
- 02目標・前提を分解
- 03一部を削除し再構成
- 04不完全さを検証
- 05不完全な問題
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CRITIC-mathは、情報が足りない数学問題に対し、推論モデルが答えを出す前に必要なことを聞けるか測る。推論モデルとは、途中の思考を使って問題の解答を組み立てる言語モデルを指す。
例えば部屋の長さと床材の一辺だけでは、必要枚数を一つに決められない。幅を勝手に補って計算すれば、利用者への確認が抜ける。条件のそろった問題を解く成績だけでは、この振る舞いを評価しにくい。
手法
著者らは既存の数学問題を、求める値である「目標」、計算に必要な「前提」、残りの背景に分ける。目標を消すか、前提を一つ消した後、自然な問題文に組み直す。例えば「自転車は毎分20フィートで進む。秒速何インチか」から速度を消せば、計算に必要な前提が欠ける。
続いてモデルが元の問題と書き換え後を比べ、不完全か判定する。人手では抽出した書き換え例と判定を確認した。完成した問題をモデルに渡し、質問の有無などを測る。追加学習では、完全な問題への正答と、不完全な問題への確認質問を選び、教師あり微調整、つまり望ましい応答例を使った学習に用いる。
新規性
CRITIC-mathは、解ける数学問題から「何を求めるか」という目標と「解くための条件」という前提を別々に欠落させ、確認質問が必要な二種類の問題を作る。元の完全な問題も含め、質問すべき場面と解答すべき場面を評価できる。
著者らはモデルの応答に加え、取得できるモデルでは思考過程も分析し、不足に気づいても質問しない例を調べた。質問を学ばせる追加学習では、思考過程を含める場合との違いも検討している。
従来手法との違い
従来の数学ベンチマークは、条件と問いがそろった問題の解答を評価する。CRITIC-mathでは元の問題に加え、目標または前提を欠いた版を使い、必要なときに質問し、不要なときには質問しないかを測る。
既存モデルには問題文だけを渡す条件と、必要なら質問するよう明示する条件を設けた。追加学習では、同じQwen3-8B-Baseを基に、解答だけで学ぶCRITIC-Qwenと思考過程も含めて学ぶ版を比較した。
実験結果
著者らはMATH 500とOmni-MATH由来の不完全問題1,311件をテスト用に、OpenR1-Math由来の5,350件を学習用に作成した。Omni-MATHでは元問題の難度を4以下に限った。既存モデルの評価では温度0で各問題に一回応答させ、質問した割合と、必要な場合だけ質問する正確度を測った。
MATH 500由来の集合でDeepseek R1の正確度は、質問を明示的に促す条件で62.89%、問題文だけの条件で38.74%だったと著者らは報告する。追加学習したCRITIC-Qwenは、明示的な指示を使う条件で同集合の正確度87.86%を記録した。いずれもこの数学問題群での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：床材の必要枚数を尋ねる見積もり窓口で、計算前に不足条件を確認する。例えば「部屋の長さは6メートル、床材は一辺60センチ」という入力には、枚数を出さず「部屋の幅を教えてください」と返し、回答を受けて計算へ進む。
検討には、過去の相談文と記載された寸法、足りない条件、望ましい確認質問のラベルが必要になる。入力は文章で、追加センサーは想定しない。数学問題から業務文への適応が必要であり、効果は実例で確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：過去の床材相談文を集め、寸法などの条件がそろった例と欠けた例に分ける。「不足なし」「前提不足」「何を求めるか不明」のラベルと、期待する確認質問を人手で付ける。入力は相談文と記載済みの寸法とし、追加センサーは使わない。
既存の回答手順を基準に、質問を促す指示を加えた手順を同じ相談文で比べる。適切な質問の割合、不要な質問の割合、条件不足のまま枚数を提示した件数を測る。追加学習を試す場合は、ラベル付き相談文と望ましい応答を用意し、別に分けた相談文で再評価する。
限界と課題
著者らは、前提が欠けた問題でモデルが質問せずに考え続ける例や、不足に気づいても最終回答で質問しない例を報告した。目標が欠けた問題では、目標を想像して答える傾向も示した。追加学習では、思考過程を含めると質問と問題解決の両立が難しくなると述べている。
編集上の検証事項は、数学問題での傾向が実際の相談文にも当てはまるかである。床材の相談では、質問の有無だけでなく、必要な条件を正しく聞けるかを点検したい。確認できた本文の範囲では、見積もり業務での検証結果はない。
出典
元のタイトル・要旨を確認する（英語）
Beyond Solving Math Quiz: Evaluating the Ability of Large Reasoning Models to Ask for Information
Large Reasoning Models (LRMs) have demonstrated remarkable problem-solving abilities in mathematics, as evaluated by existing benchmarks exclusively on well-defined problems. However, such evaluation setup constitutes a critical gap, since a genuine intelligent agent should not only solve problems (as a math quiz solver), but also be able~to ask for information when the problems lack sufficient information, enabling proactivity in responding users' requests. To bridge such gap, we proposes a new dataset consisting of two types of incomplete problems with diverse contexts. Based on the dataset, our systematical evaluation of LRMs reveals their inability in proactively asking for information. In addition, we uncover the behaviors related to overthinking and hallucination of LRMs, and highlight the potential and challenges of supervised fine-tuning in learning such ability. We hope to provide new insights in developing LRMs with genuine intelligence, rather than just solving problems.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01