アーカイブ / LLM
課題文の前置きで応答は変わるか――安全性と数学で見られた効果と事実性の低下
Prefix-conditioned SFT
Prefix-conditioned SFTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Impact of prefix inclusion on reasoning performance. GSM8K accuracy (%) for the R1-7B model trained with increasing proportions of prefix-included samples with "revised" token added to the prefix.
概要
- 学習時の課題文に前置き文を加える割合を変え、3種類のR1系列モデルを比較した。
- R1-8BのWildJailbreak Safe@1は0％条件で60.00％、50％条件で66.00％だった。
- 数学には改善例がある一方、コード生成の効果は一定せず、事実性には成績が下がる条件が多い。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Prefix-conditioned SFTの仕組み
- 01課題文と回答例
- 02課題文に前置き追加
- 03割合別に微調整
- 04応答を評価
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、学習時に課題文へ定型的な前置き文を加えると、推論モデルの応答がどう変わるかを調べる。教師あり微調整とは、入力と望ましい回答の組を使ってモデルを調整する方法である。
学習データの整理では、こうした定型文を取り除くことがある。しかし著者らは、安全性や段階的な推論を促す手掛かりにもなり得ると考え、数学、コード生成、安全性、事実性への影響を比較した。
手法
著者らは元の課題文と回答の組を用意し、回答をGPT-4.1で段階的な推論と最終回答を含む共通形式に書き換えた。その後、5種類の定型文から選んだ前置き文を、指定した確率で課題文の先頭に加える。例えば数学では、前置き文付きの問題文を入力、書き換えた解答を学習上の目標回答とする。
前置き文を加える確率は0％、25％、50％、100％で、条件ごとに別のモデルを微調整した。調整にはLoRAという、モデルの一部に小さな追加部分を設ける方法を使う。著者らは学習後の応答を評価し、各語の学習損失も集計した。学習損失は、目標の語をモデルが予測しにくいほど大きくなる値である。
新規性
著者らは、回答例を共通にしたまま、学習時の課題文に定型的な前置き文を加える確率を変えた。前置き文の有無を、回答例の書き換えと切り分けて比較した点が研究の中心である。
さらに、前置き文に含まれる語の学習損失を集計した。特定の語で損失が高いという観測を示しているが、それだけで応答の変化を引き起こす仕組みまで実証したわけではない。
従来手法との違い
基準は、課題文に前置き文を加えない0％条件である。25％、50％、100％の条件では、各学習例に指定した確率で前置き文を加え、条件ごとにモデルを別々に微調整した。回答例と元の課題は共通である。
安全性とGSM8Kの数学問題には改善した条件がある。一方、コード生成の変化は一定せず、事実性には低下した条件が多い。結果は、掲載されたモデルと評価課題の組み合わせごとに読む必要がある。
実験結果
著者らは3種類のR1系列モデルを評価した。安全性はUnsafeChainの1,000例で学習し、WildJailbreakなどの未学習データでSafe@1を測った。これは最初の回答が安全と判定された割合で、R1-8BのWildJailbreakでは0％条件の60.00％が50％条件で66.00％になった。
数学はGSM8Kの1,000例で学習し、R1-8BのGSM8K正答率は0％条件の65.67％から100％条件の72.33％に上がった。一方、R1-1.5Bでは55.00％から51.67％に下がった。R1-8BのTruthfulQA-MCQも56.50％から47.50％に低下した。コード生成と事実性の学習例数は、本文の表と表題で食い違うため記載しない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内問い合わせの回答案を作るAIで、安全に対応すべき依頼への応答を検証する。入力は問い合わせ文、出力は担当者が確認する回答案とし、危険な依頼には承認済み方針に沿った対応を求める。
学習には、実際の問い合わせ文、承認済み回答、安全性を判定するラベルが必要だ。追加センサーは想定しない。自社の応答方針に合わせて前置き文と回答例を整える作業が要り、この用途での改善は論文の実験結果からは保証されない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：承認済み回答のある社内問い合わせから、学習用の入力文、回答例、安全性ラベルをそろえる。同じ元データを使い、前置き文なしと、業務方針に合わせた前置き文ありの条件を作って比較する。
未学習の問い合わせを評価用に分け、安全と判定される回答の割合、事実誤りの件数、担当者による修正件数を測る。追加センサーは不要だが、回答例と前置き文を自社の業務に合わせて調整する必要がある。安全性が上がっても正確さが落ちる場合は採用を見直す。
限界と課題
著者らの結果では、効果は課題とモデルによって異なる。コード生成は改善が一貫せず、事実性では低下が多い。R1-1.5BのGSM8Kでも、前置き文を100％加えた条件は0％条件を下回った。
編集上の検証事項は、前置き文の文言を変えても差が残るか、業務の問い合わせで安全性と回答の正確さを両立できるかである。語ごとの損失が高いことと、応答変化の因果関係も分けて確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
How Does Prefix Matter in Reasoning Model Tuning?
Recent alignment studies commonly remove introductory boilerplate phrases from supervised fine-tuning (SFT) datasets. This work challenges that assumption. We hypothesize that safety- and reasoning-oriented prefix sentences serve as lightweight alignment signals that can guide model decoding toward safer and more coherent responses. To examine this, we fine-tune three R1 series models across three core model capabilities: reasoning (mathematics, coding), safety, and factuality, systematically varying prefix inclusion from 0% to 100%. Results show that prefix-conditioned SFT improves both safety and reasoning performance, yielding up to +6% higher Safe@1 accuracy on adversarial benchmarks (WildJailbreak, StrongReject) and +7% improvement on GSM8K reasoning. However, factuality and coding tasks show marginal or negative effects, indicating that prefix-induced narrowing of the search space benefits structured reasoning. Token-level loss analysis further reveals that prefix tokens such as "revised" and "logically" incur higher gradient magnitudes, acting as alignment anchors that stabilize reasoning trajectories. Our findings suggest that prefix conditioning offers a scalable and interpretable mechanism for improving reasoning safety, serving as an implicit form of alignment that complements traditional reward-based methods.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01