アーカイブ / LLM
推論モデルを段階的に学習するMotifの手順と、データ選別の効果
Motif-2-12.7B-Reasoning
Motif-2-12.7B-Reasoningの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Motif-2-12.7B-Reasoning performance compared to the best proprietary and open-source models. The Artificial Analysis Intelligence Index (AAII) is a composite metric derived from the average scores of 10 diverse benchmarks. Despite its compact size of 12.7B parameters, motif-2-reasoning achieves performance comparable to larger-scale frontier models.
概要
- 12.7Bパラメータの推論モデルを、検証済みデータによる段階的SFTと、難度を選別したRLFTで学習する手順を示す。
- 著者らが示すLiveCodeBench v5のPass@1は、Baselineが51.78、seed-oss-36b由来の合成データを加えた構成が63.69、gpt-oss-120b由来が33.92だった。
- RLFTでは直前のモデルによる5回の回答で課題を選別し、数学・コード・指示追従を混ぜて学習する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Motif-2-12.7B-Reasoningの仕組み
- 01課題生成
- 02回答生成・検証
- 03段階的SFT
- 04難度選別RLFT
- 05推論モデル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Motif-2-12.7B-Reasoningは、複数の手順を考える課題と長い入力を扱う言語モデルの追加学習を対象とする。文脈長とは、モデルが一度に扱える入力や生成文の長さで、ここでは最大64Kトークンまで学習を伸ばしている。トークンは文章を処理する単位である。
著者らによると、推論向けの強化学習を単純に加えると、学習が不安定になり元の能力が下がる場合がある。数学やコードなど複数分野の能力を保つため、データの作り方と課題の選び方が実務上の論点になる。
手法
まず課題と推論過程つきの回答を作り、コードの実行、数学の最終解答、回答の構造などを確認する。教師あり微調整（SFT）は、確認した回答例を手本にモデルを学習させる工程である。著者らは基礎を広く学ぶ段階と深い推論を補う段階を設け、扱う長さを16K、32K、64Kトークンへ伸ばす。64Kの学習には計算を分担し、メモリ使用を抑える構成も使う。
次の強化学習による微調整（RLFT）では、直前のモデルに各課題を5回解かせ、正答率で難度を測る。数学・コードは正答率が0を超え0.8以下、指示追従は0を超え0.4以下の課題を残す。例えばコード課題なら実行結果で成否を判定する。複数回答の相対的な良し悪しで更新し、生成済みの回答群を複数回使う。
新規性
著者らの主張する進展は、64Kトークンの学習に必要なメモリ対策、検証済みの推論例を使う段階的な教師あり微調整、課題の難度を合わせる強化学習を、一連の手順として示した点にある。
特に、合成データの正答だけでなく推論の書き方と対象モデルとの適合を重視する。強化学習では生成済みの回答群を複数回の更新に使い、回答生成の費用と学習の不安定さに対処したと著者らは述べる。
従来手法との違い
追加学習の出発点はMotif-2-12.7B-Instructである。LiveCodeBench v5の比較では、合成データを作るモデルを変えるとPass@1が大きく変わった。ただし表の「Baseline」が出発点モデルそのものを指すかは明記されていない。
強化学習の予備実験では、通常の反復的なGRPOによる更新は不安定で、同じ回答群を複数回使う方法のほうが安定したと著者らは報告する。この比較の詳しい数値は示されておらず、効果を他のモデルへ広げて判断する材料にはならない。
実験結果
著者らは数学、コード、指示追従、ツール利用、長文理解で評価したと述べる。数値を確認できるLiveCodeBench v5では、Pass@1がBaselineで51.78、seed-oss-36b由来の合成データを加えた構成で63.69、gpt-oss-120b由来では33.92だった。Pass@1は最初の一つの回答が正解する割合を表す。
また著者らは、10種のベンチマークの平均に基づく複合指標AAIIで、より大きなモデルと比較可能な成績だと主張する。確認できた本文の範囲では、主要評価の詳細な点数表、試行間のばらつき、各工夫を個別に外した結果を確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の小規模なプログラミング課題を解く支援モデルに、この学習手順を試す。利用を認められた課題文と入力例を渡し、モデルに解法とコードを出力させ、用意した実行テストで正誤を判定する。
学習には課題文、正解判定用テスト、実行に成功した回答例、求める回答形式のラベルが必要になる。センサーは不要である。既存モデルの回答傾向に合う例を選び、成功と失敗が混じる課題を追加学習に使う。社内業務への効果は仮説として検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用を認められた社内コード課題、正解判定用の実行テスト、検証済み回答例、回答形式のラベルをそろえる。必要な入力は課題文とテストで、センサーは不要である。まず既存モデルの未学習課題での成績を基準値として記録する。
次に同じモデルで各課題を複数回解き、成功と失敗が混じる課題を選ぶ。回答例を対象モデルに合う形へ整えて小規模なSFTを行い、必要なら難度を測り直してRLFTを試す。未学習課題のPass@1、実行テストの成功率、回答形式の遵守率を同じ条件で比べる。長い入力では入力長別の成績と処理費用も測る。
限界と課題
著者らは、対象モデルに合わない推論例による成績低下、易しすぎる・難しすぎる課題で学習信号が消えること、単一分野の強化学習による他分野の退行を報告している。長い推論に対する回答長の罰則も、予備実験では有害だったという。
編集上の検証事項は、各工夫の寄与を同じ条件で切り分けられるか、長文入力時の精度と処理費用が用途に見合うかである。モデルを業務用データに適応させた場合の情報の扱い方と、テストで判定できない誤答の頻度も確認が必要になる。
出典
元のタイトル・要旨を確認する（英語）
Motif-2-12.7B-Reasoning: A Practitioner's Guide to RL Training Recipes
We introduce Motif-2-12.7B-Reasoning, a 12.7B parameter language model designed to bridge the gap between open-weight systems and proprietary frontier models in complex reasoning and long-context understanding. Addressing the common challenges of model collapse and training instability in reasoning adaptation, we propose a comprehensive, reproducible training recipe spanning system, data, and algorithmic optimizations. Our approach combines memory-efficient infrastructure for 64K-token contexts using hybrid parallelism and kernel-level optimizations with a two-stage Supervised Fine-Tuning (SFT) curriculum that mitigates distribution mismatch through verified, aligned synthetic data. Furthermore, we detail a robust Reinforcement Learning Fine-Tuning (RLFT) pipeline that stabilizes training via difficulty-aware data filtering and mixed-policy trajectory reuse. Empirical results demonstrate that Motif-2-12.7B-Reasoning achieves performance comparable to models with significantly larger parameter counts across mathematics, coding, and agentic benchmarks, offering the community a competitive open model and a practical blueprint for scaling reasoning capabilities under realistic compute constraints.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01