新着研究 / LLM
役立つ学習信号が続くスキルだけを選ぶSGUID、少数の手順知識をLLMへ内在化
SGUID
SGUIDの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of SGUID at co-evolution round r r . (1) Curate: the current policy θ r \theta_{r} rolls out on training problems, the rollouts are checked against the reference solutions y ⋆ y^{\star} to curate a candidate skill bank B θ r B_{\theta_{r}} (the bank size shown is that of Qwen3-8B ). (2) Select skills by training signal: the student P S ( ⋅ ∣ x ) P_{S}(\cdot\mid x) , initialized from θ r \theta_{r} , generates a rollout y ^ \hat{y} that is scored by privileged teachers P T ( ⋅ ∣ x , s i ) P_{T}(\cdot\mid x,s_{i}) , each conditioned on a retrieved skill s i s_{i} . Skills that contribute early, still produce at least h h positive events late, and whose contribution rate decreases by at most a factor of τ \tau are kept; skills whose signal decays too fast, stays at zero, or that are never retrieved are discarded. (3) Internalize: restarting from θ r \theta_{r} , the compact bank B ~ θ r \widetilde{B}_{\theta_{r}} with | B ~ θ r | = K ≪ | B θ r | |\widetilde{B}_{\theta_{r}}|=K\ll|B_{\theta_{r}}| is distilled into the model, producing θ r + 1 \theta_{r+1} , which becomes the policy for the next round.
概要
- 意味が似て検索されたスキルでも、蒸留に有効な信号を出す割合は25％未満だった。
- 学習前半と後半の貢献を確認し、持続して有効な少数スキルだけで再学習する。
- 四モデルの数学評価では初回六スキル、次回三スキルの選択が大きな銀行に匹敵する平均成績を得た。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SGUIDの仕組み
- 01モデルの解答履歴
- 02候補スキルを作成
- 03学習中の貢献を選別
- 04少数スキルを蒸留
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SGUIDは、LLMへ覚えさせる手順知識を、学習中の有効性で選ぶ方法である。ここでスキルとは、自然言語で書かれた解法、注意点、失敗を避ける手順を指す。質問と意味が近いスキルを検索できても、それが現在のモデルに新しい能力を教えるとは限らない。
全てのスキルを一律に学ばせると、既知の内容や相反する助言も混ざる。研究は外部の知識集を増やすだけでなく、どの知識をモデルの重みに取り込むかを検証し、更新後も改善を続けられる条件を調べる。
手法
モデルが生成した解答を正解で検証し、候補の手順知識集を作る。生徒はスキルなしで解答し、同じモデルから作った教師は検索したスキルを追加で見る。教師と生徒が各語へ与える確率の差から助言の影響を測り、正解判定と整合しない信号や弱い信号を扱う既存の学習方式を利用する。
SGUIDは全候補で一度学習し、前半と後半に有効な信号が出た回数と割合を集める。後半にも十分貢献し、割合が急に落ちない候補を残す。元のモデルへ戻り、選んだ少数だけを蒸留、つまり教師の振る舞いを重みに移す学習を行う。更新後の解答から次の候補を作り、この循環を繰り返す。
新規性
特徴は、スキルが検索されやすいかではなく、学習が進んでも教える内容が残るかを選択基準にすることにある。正解に沿う信号の持続を知識集全体の選別へ使い、個々の学習時点で信号を除く方式を補う。
モデルとスキル集を交互に更新する循環も対象である。一回の圧縮だけでなく、更新したモデルに古くなった助言をそのまま与えると改善が不安定になる可能性を実験で調べている。
従来手法との違い
比較対象は正解だけを使うGRPOと自己蒸留OPSD、全スキル集を使うSGSDである。選択数を固定した無作為・低順位の選択とも比べ、単に知識集を小さくする効果と、選ぶ内容の効果を分ける。
全候補は30〜71スキル、初回選択は六つである。初回は四モデル中三つで全候補の平均成績以上だが、Qwen3-1.7Bは42.3％で全候補の43.0％に届かない。少数なら必ず良いという主張ではない。
実験結果
著者らはOlmoとQwenの四モデルを数学データで学習し、AIME24・25とHMMT25で12回生成の平均正答率avg@12を評価した。Qwen3-4Bの平均は基盤62.1％、全候補64.2％、初回選択65.1％、二回目65.2％となった。
Qwen3-8Bは初回64.3％から新たな三スキルを選ぶ二回目66.3％へ改善した。選択用統計を200ステップから最初の25ステップに短縮すると、1.7Bでは同程度だが4Bでは65.1％から63.4％へ低下する。候補選別の費用削減にはモデル規模による差が残る。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案は、計算結果を自動検証できる社内帳票の解釈モデルである。誤答した計算課題から、単位換算や条件の読み落としを避ける短い手順を作る。モデルの出力と既知の正解を入力に選別し、役立つ手順だけをモデルへ取り込む。
出力は手順集を毎回添えなくても得られる解答となる。手順を蓄積する担当者は数を増やすことより、更新後にも必要な知識かを確認する。数学の研究から業務への適用は未実証であり、この場面は検証対象の提案である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、正解を計算で確認できる限定課題を用意し、全候補、無作為の同数候補、持続性で選んだ候補を同条件で比べる。選択用の課題と評価用の課題を分け、正答率、学習費用、候補あたりの貢献を記録する。
二回目の更新でも同じ評価を続け、旧課題の性能が落ちないか確認する。短い選択期間を使う場合は全期間の選択と比較し、費用の低下と品質の差を測る。正解検証が曖昧な自由文章へ最初から広げず、判定の信頼性を先に確かめる。
限界と課題
本文の実験は正解を検証できる数学推論が中心で、自由な業務対話や工具操作の成果ではない。初回の少数選択が全候補を上回らないモデルもあり、選択を早期統計だけで代用する方法にも不安定さが報告される。
編集上の確認点は、正解判定器が誤る場合や、低頻度だが重要な手順を選別で落とす場合である。全候補の試行と選択後の再出発には追加学習費用がかかる。知識集が小さいことだけで運用全体の計算費用が減るとは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Which Skill to Distill? SGUID: Selecting a Compact Skill Bank for Model-Skill Co-Evolution
Skills, reusable procedural guidance added at inference, can substantially improve LLM downstream performance (Li et al., 2026). Prior work retrieves skills from a bank by semantic relevance, then uses them as inference-time patches or for model distillation. The individual utility of each skill, however, is largely neglected. We first show that, in on-policy distillation where skill-conditioned policies serve as teachers, fewer than 25% of retrieved skills provide useful distillation signals. We then propose SGUID, a method for selecting a compact subset of skills for distillation. SGUID retains a skill only if it consistently yields effective learning signals during training. The selected skills are then distilled to produce a better model. Our results show that not all skills are worth distilling. Across four models from the Olmo and Qwen families, distilling 6 selected skills matches or exceeds full-bank distillation in mean avg@12 on three of the four models, and on all four after a second round that distills 3 newly selected skills, while the full banks are up to 11x larger. Importantly, SGUID supports stable model-skill co-evolution: after a distillation round, a new candidate bank is curated from the updated model's rollouts, and SGUID selects which skills to internalize next. In the second round, this loop selects 3 new skills and improves Qwen3-8B from 64.3% to 66.3%. The selection step is essential for stability: on Qwen3-4B, naively updating the model with unfiltered skills degrades performance, including a 0.3 percentage point drop on HMMT25, whereas SGUID improves HMMT25 by 0.5 points after the first round and 1.1 points after the second. These results identify skill selection as the key mechanism for stable model-skill co-evolution.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-11