アーカイブ / LLM / AI Agent
数学の問題と解答を複数のAIで作り、難易度に合わせて選ぶ方法
Multi-Agent Collaborative Framework for Math Problem Generation
Multi-Agent Collaborative Framework for Math Problem Generationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Typical workflow of an ITS system.
概要
- 学習項目、例題、指定難易度から数学の問題と解答を生成し、複数役の対話と選別で候補を絞る。
- 著者らのGPT-4による採点では、選別後の二方式の総合平均は4.64、4.65で、単独生成の4.40、4.42を上回った。
- 採点結果は生徒の学習成果を示すものではなく、著者らは人による評価との照合を今後の課題としている。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Multi-Agent Collaborative Framework for Math Problem Generationの仕組み
- 01学習項目・例題・難易度
- 02問題と解答を生成
- 03批評・合議で修正
- 04思考の深さで選別
- 05問題と解答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、指定した学習項目と難易度に合う数学の問題と解答を生成する。知的学習支援システムとは、生徒の理解状況に応じて問題を出す仕組みで、必要な学習項目の問題を随時用意することが求められる。
既存問題の小さな改変だけでは、狙った考え方や難しさに合わせた出題が難しい。言語モデルが読みやすい文を作れても、問題が解けることや学習目標に合うことは別に確かめる必要がある。
手法
入力は、学習項目の単位を表すKCの名前、同じ項目の例題、易・中・難の指定である。教師・批評方式では教師役が問題と解答を作り、批評役が明瞭さや関連性、難易度などを点検して教師役が修正する。実験では、このやり取りを二~五回に変えた。
合議方式では、複数の参加役が新案の提示、既存案の修正、賛同と助言を行い、決定役が最後に一組を選ぶ。続いて、記憶・理解から応用・分析、評価・創造まで思考の深さを分けるブルーム分類に沿って候補を採点し、狙った段階に合うものを残す。出力は一つの数学問題とその解答である。
新規性
著者らは、教師役と批評役が問題を修正する方式と、複数の参加役が案を出し合って決定役が選ぶ方式を、数学の問題生成に適用した。生成した候補は、問われる思考の深さに基づいて選別する。
追加学習ではなく、生成時の対話と選別に計算を使う点が特徴である。さらに、関連性、重要性、明瞭性、難易度一致、解答可能性の五つで生成物を採点する枠組みを示した。
従来手法との違い
比較対象は、例題を見せず教師役だけで作る方式と、少数の例題を見せる単独生成方式である。提案方式は、生成途中に批評または合議を挟み、最後に思考の深さを基準に候補を選ぶ。
表の総合平均は、単独生成の4.40、4.42に対し、選別後の教師・批評方式が4.64、合議方式が4.65だった。一方、ランダム選別の合議方式は4.34で、参加役を増やすだけで点数が上がったとはいえない。
実験結果
著者らは、中学生向け数学問題と生徒の正答率を含むProblem Bodiesを使い、例題を易・中・難に分けた。生成物はGPT-4で、関連性、重要性、明瞭性、難易度一致、解答可能性を各1~5点で採点した。
表の難易度一致は、例題なし単独生成が4.41、例題あり単独生成が4.02、選別後の合議方式が4.96、教師・批評方式が4.88だった。著者らは難しい指定ほど難易度一致と総合平均が下がる傾向を報告する。確認できた本文の範囲では、評価件数、データ分割、正答率から難易度を分ける閾値は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:中学校の数学教員が、一つの単元の補充プリント用に問題と解答の候補を作る。入力には、学習項目名、既存の問題と解答、生徒の正答率から付けた易・中・難のラベル、希望する難易度を使い、追加センサーは使わない。
教員が例題を単元に合わせて選び、AIによる生成・修正・選別の後、計算の正しさと授業範囲、文章を確認する。出力は配布前の問題・解答案とし、生徒への適合や学習効果は別に検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:一つの数学単元について、学習項目名、既存の問題・解答、生徒の正答率を集める。正答率から易・中・難のラベルを付け、教員が例題を確認する。追加センサーは使わず、例題ありの単独生成と教師・批評方式で同じ指定の候補を作る。
教員が生成方式を知らない状態で、解答の正確さ、学習項目との一致、文章の明瞭さ、難易度の一致を記録する。採用できた問題の割合と確認・修正に要した時間を比較し、ずれがあれば例題や難易度ラベルの付け方を見直す。
限界と課題
著者らは、対話回数や参加役を増やしても改善が続くとは限らず、GPT-4による採点には高得点への集中と人の判断とのずれが生じ得ると述べる。人による評価との照合は今後の課題としている。
編集上の検証事項は、生徒が実際に解けるか、単元ごとの難易度が合うか、教員の確認時間を含めて作問負担が減るかである。また、本文には提案方式が全項目で比較対象を上回るとの記述があるが、表では合議方式の明瞭性3.60は例題あり単独生成の3.70を下回る。
出典
元のタイトル・要旨を確認する(英語)
Multi-Agent Collaborative Framework For Math Problem Generation
Automatic question generation (AQG) for mathematics education remains an elusive goal for Intelligent Tutoring Systems and educators. While pre-trained transformer-based language models have significantly advanced natural language generation, they often struggle to precisely control problem complexity and cognitive demands. In this paper, we introduce a collaborative multi-agent framework as a novel method of incorporating inference-time computation into AQG. This approach leverages multiple agents that iteratively refine generated question-answer pairs to better balance complexity and cognitive demand. We evaluate the generated questions on five meta-evaluation criteria: relevance, importance, clarity, difficulty matching, answerability, to assess the system's ability to control the required complexity and quality of the questions. Preliminary evaluations show that this collaborative multi-agent framework elevates the quality of generated educational content by fostering a more nuanced balance between cognitive challenge and clarity. These promising outcomes suggest that integrating collaborative multi-agent workflows can yield more controlled, pedagogically valuable content that can help advance automated educational content generation and adaptive learning environments.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




