アーカイブ / LLM
推論の学習に強化学習を使うDeepSeek-R1――R1-Zeroとの違いを読む
DeepSeek-R1
DeepSeek-R1の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: AIME accuracy of DeepSeek-R1-Zero during training. For each question, we sample 16 responses and calculate the overall average accuracy to ensure a stable evaluation.
概要
- R1-Zeroは、人が書いた推論手順による事前の教師あり微調整を行わず、強化学習で推論能力を育てる試みである。
- R1は初期データと複数段階の学習を加え、R1-Zeroの読みにくさと言語混在に対処する。
- 著者らはR1の推論性能がOpenAI-o1-1217と同程度と述べるが、確認できた本文から課題別の数値は示せない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DeepSeek-R1の仕組み
- 01検証可能な課題
- 02強化学習
- 03推論の獲得
- 04回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
大規模言語モデルの推論では、途中の考え方を人が書いて教える方法が使われてきた。しかし、複雑な問題ほど質の高い手順例を大量に用意する負担が大きい。計算やコードのように結果を確認できる課題なら、正誤から学ぶ別の道が考えられる。
DeepSeek-R1の研究は、その学習によってどのような推論行動が生まれるか、さらに得られた能力を小型モデルへ移せるかを扱う。実務では、正答だけでなく、説明の読みやすさも採用判断を左右する。
手法
強化学習は、試した回答への評価を使って次の回答の傾向を変える学習法である。著者らは、人手で記した推論手順を最初に学ばせず、基盤モデルへ大規模な強化学習を施したR1-Zeroを示す。例えば数学問題なら、問題を入力し、答えの正誤を確かめられることを学習信号にするという考え方だ。本文は自己点検、検証、解法の変更が現れたと述べる。
続くR1では、学習開始時に使う初期データと複数段階の訓練を取り入れる。これはR1-Zeroで見られた読みにくさや言語の混在に対処するためである。さらに著者らは、大型モデルに現れた推論の仕方を小型モデルの学習にも利用する。確認できた本文の範囲では、各段階の具体的な評価規則や学習量は説明できない。
新規性
著者らの主張の中心は、人が書いた推論手順を事前に模倣させなくても、強化学習によって推論行動が現れ得ることにある。R1-Zeroをその検証に用い、自己点検や検証、解き方の切り替えを観察したという。
一方、読みやすさと言語の混在を改善するために導入したR1は、初期データと複数段階の学習を使う。両者を同じ学習条件の成果として扱わない点が重要だ。
従来手法との違い
比較の軸は、人が作成した推論過程を用いる従来の教師あり学習と、R1-Zeroの強化学習である。前者は解き方の実例を学習材料にするが、後者は正誤を確かめられる課題の結果を学習信号にする、という違いが示される。
確認できた本文の範囲では、R1はR1-Zeroの可読性と言語混在への対処として、初期データを加えた複数段階の学習を採用する。R1の比較対象としてOpenAI-o1-1217も挙げられるが、ここで確認できるのは性能が同程度という著者らの記述までである。
実験結果
著者らは、数学、競技プログラミング、科学・技術分野のように答えを検証しやすい課題で、強化学習による推論能力を評価したと述べる。R1についてはOpenAI-o1-1217と同程度の推論性能を報告する。
確認できた本文の範囲では、個々のデータセット名、正答率、試行条件、比較対象ごとの差を示す表はない。したがって、業務上の性能差を数値で見積もることはできない。R1-ZeroとR1は学習方法が異なるため、後者の結果を「人手の初期データを一切使わない学習」の成績として引用することも避けたい。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の計算式や短いプログラムの誤りを見つける補助役に使う。入力は問題文、式またはコード、期待する出力形式とし、モデルには解答に加えて確認すべき計算箇所やテスト条件を出させる。
担当者は、その確認項目を別の計算や実行結果と照合してから回答を採用する。推論らしい文章そのものを正解の証拠とせず、答えを独立に確かめられる業務に用途を絞る。これは論文で実証された業務効果ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：答えを独立に確かめられる社内の計算・コード課題を少数集め、既存のモデル運用を比較基準にする。問題文と採点方法を先に固定し、同じ課題をR1系の候補と基準に入力する。
正答率だけでなく、回答の読みやすさ、言語混在、検証に要した人手、回答時間を記録する。誤答例は、途中の説明がどこで実際の計算やテストと食い違ったかを確認する。採否は対象業務での結果から決める。
限界と課題
著者らが明記するR1-Zeroの課題は、出力の読みにくさと言語の混在である。R1はこれらへの対処を狙うが、すべての出力で解消したという根拠までは、確認できた本文の範囲からは読めない。
編集上の確認事項は、対象業務の正答率に加え、誤答時にももっともらしい検証文を出す頻度、言語の安定性、回答時間である。今回確認できた本文は要旨と目次が中心で、課題別の数値、評価条件、費用の詳細を判断材料にできない。
出典
元のタイトル・要旨を確認する（英語）
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
General reasoning represents a long-standing and formidable challenge in artificial intelligence. Recent breakthroughs, exemplified by large language models (LLMs) and chain-of-thought prompting, have achieved considerable success on foundational reasoning tasks. However, this success is heavily contingent upon extensive human-annotated demonstrations, and models' capabilities are still insufficient for more complex problems. Here we show that the reasoning abilities of LLMs can be incentivized through pure reinforcement learning (RL), obviating the need for human-labeled reasoning trajectories. The proposed RL framework facilitates the emergent development of advanced reasoning patterns, such as self-reflection, verification, and dynamic strategy adaptation. Consequently, the trained model achieves superior performance on verifiable tasks such as mathematics, coding competitions, and STEM fields, surpassing its counterparts trained via conventional supervised learning on human demonstrations. Moreover, the emergent reasoning patterns exhibited by these large-scale models can be systematically harnessed to guide and enhance the reasoning capabilities of smaller models.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29