アーカイブ / LLM
RedStar：長い解答例の量と難度は数学の推論成績にどう影響するか
RedStar
RedStarの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Overview of the Long-COT data curation process of mathematics data. The process consists of three steps: (1) collecting prompts from diverse sources, including math, code-based, and multimodal datasets; (2) annotating and filtering prompts based on difficulty levels for training; and (3) evaluating response quality and constructing positive and negative samples.
概要
- RedStarは、正誤を確認した長い解答例でモデルを追加学習し、数学とコードの段階的な解答を扱う。
- 著者らの表4では、Math-hardの得点は基準の32Bモデルで66.2、RedStar-code-mathで81.6だった。
- 実務のコード修正への適用は未評価であり、社内の独立した事例とテストによる検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RedStarの仕組み
- 01数学・コードの問題
- 02難度判定と解答生成
- 03正誤確認と選別
- 04モデル追加学習
- 05段階的な解答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
RedStarは、数学やコードの問題に段階的な解答を出すモデルを作る研究である。長い思考の連鎖（Long-CoT）とは、最終答えに至る途中の検討を文章で示した解答例を指す。そのような例を何件集め、どの難度を選ぶかは、追加学習用データの準備に関わる。
著者らは、学習例の件数、問題の難度、元モデルの規模や数学への特化を変えて結果を調べた。少量の例で効果が出る条件を知れば、データ選別と追加学習の進め方を検討しやすくなる。
手法
数学では問題の難度を判定し、高難度の問題を中心にQwQから複数の長い解答を生成する。答えを公式解答と照合し、過度な反復や指定形式から外れた回答を除く。コードではTACOの問題から解答を生成し、付属テストをすべて通った例を残す。例えば計算問題なら最終的な数値の一致、プログラムならテスト通過が選別の手掛かりになる。
残した問題と正答例の組で教師あり追加学習を行う。これは望ましい出力例をモデルに示して応答を調整する方法である。著者らはデータ量や難度を変え、数学とコードを混ぜた32Bモデルも作った。さらにDPO（正答例を不正答例より選ぶよう調整する方法）を試し、学習後のモデルに問題への段階的な解答を生成させた。
新規性
著者らは、長い解答過程を使う追加学習について、データ量だけでなく、問題の難度と元モデルの規模・数学への特化を変えて比較した。少量の高難度データが有効な条件と、大量のデータで成績が伸びる条件を、同じ五つの数学課題で調べている。
さらに数学とコードの解答例を組み合わせた32Bモデルを作り、正答例と不正答例を使う追加学習も評価した。図形の画像を含む課題への適用も報告しているが、確認できた本文の範囲では数値結果を照合できない。
従来手法との違い
基準のQwen2.5-32B-Instructに対し、RedStar-code-mathは数学とコードの長い解答例で追加学習したモデルである。著者らの表4では、Math-hardが66.2から81.6、掲載された五つの数学課題の平均が37.9から55.7になった。この比較は同表の課題と評価条件に限られる。
同表でQwen-QwQ-32Bの平均は56.4、追加でDPOを適用したRedStar-DPOは58.3だった。一般課題を集計した表5では、RedStar-code-mathの平均68.8に対し、基準モデルは68.1、QwQは62.8である。数学課題と一般課題は別の評価として読む必要がある。
実験結果
著者らはMath-hard、Olympiad-Bench、College_Math、High_School_League-24、AIME24の五課題で数学の推論を評価した。表1の五課題平均は、7B-Instructが追加学習前31.0、長い解答例4千件で31.4、100万件で41.7だった。14B-Instructは同じ順に35.8、44.3、45.4である。
難度別に各4千件を用いた表2では、14B-Instructの五課題平均が低難度29.8、高難度44.3で、追加学習前は35.8だった。表4のRedStar-code-mathはMath-hardで81.6、AIME24で46.7、五課題平均で55.7と著者らは報告する。いずれも掲載された数学課題の結果であり、実務のコード修正を測った値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の計算処理で失敗したテストの原因調査に使う。仕様文、対象コード、失敗したテストと期待値を入力し、原因候補、修正案、追加で実行すべきテストを出力する。担当者が提案を確認し、テスト結果を見て採否を決める。
適応用には、利用が認められた過去の不具合票、修正前後のコード、テスト結果が必要になる。正しい修正と失敗した候補を区別するラベルを整え、社内の入力形式に合わせる。文章とコードを扱う想定で追加センサーは不要だが、この用途での改善は論文の評価からは確認できない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内の計算処理から、仕様、修正前コード、失敗テスト、期待値、確定した修正がそろう事例を集める。正しい修正と失敗した候補をラベル付けし、担当者が問題の難度も記録する。文章とコードの入力形式に整える適応作業が必要で、追加センサーは使わない。
評価用の事例を学習用から分け、追加学習前のモデルと、選別した解答例で適応したモデルに同じ入力を与える。テスト通過率、原因特定の正しさ、担当者の確認時間を記録し、難度別にも比較する。提案された解答過程と修正案は担当者が照合し、独立したテストで確かめる。
限界と課題
著者らは計算資源の制約により、32Bモデルの数学由来データによる追加学習を4千例の部分集合に限った。また、32BモデルのDPO用の正答例・不正答例は、試料作成の時間的制約からQwQで得たと記している。
編集上の検証事項：要旨の混合データ約2万1千件と、本文の数学4千件・コード約1万6千件の集計関係は明確でない。表4の説明文にはRedStar-mathの平均とQwQとの大小関係について表内数値との食い違いがあるため、記事では表の数値を採用した。実務のコード修正成績も別途確認が必要である。
出典
元のタイトル・要旨を確認する（英語）
RedStar: Does Scaling Long-CoT Data Unlock Better Slow-Reasoning Systems?
Can scaling transform reasoning? In this work, we explore the untapped potential of scaling Long Chain-of-Thought (Long-CoT) data to 1000k samples, pioneering the development of a slow-thinking model, RedStar. Through extensive experiments with various LLMs and different sizes, we uncover the ingredients for specialization and scale for Long-CoT training. Surprisingly, even smaller models show significant performance gains with limited data, revealing the sample efficiency of Long-CoT and the critical role of sample difficulty in the learning process. Our findings demonstrate that Long-CoT reasoning can be effectively triggered with just a few thousand examples, while larger models achieve unparalleled improvements. We also introduce reinforcement learning (RL)-scale training as a promising direction for advancing slow-thinking systems. RedStar shines across domains: on the MATH-Hard benchmark, RedStar-code-math boosts performance from 66.2\% to 81.6\%, and on the USA Math Olympiad (AIME), it solves 46.7\% of problems using only 21k mixed-code-math datasets. In multimodal tasks like GeoQA and MathVista-GEO, RedStar-Geo achieves competitive results with minimal Long-CoT data, outperforming other slow-thinking systems like QvQ-Preview. Compared to QwQ, RedStar strikes the perfect balance between reasoning and generalizability. Our work highlights that, with careful tuning, scaling Long-CoT can unlock extraordinary reasoning capabilities-even with limited dataset and set a new standard for slow-thinking models across diverse challenges. Our data and models are released at https://huggingface.co/RedStar-Reasoning.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01