アーカイブ / LLM
追加学習で危険な応答の学習を抑える、トークン単位の選別法TOSS
TOSS
TOSSの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 4 : Left: Comparison of TOSS with its local ranking variant, showing that the global ranking strategy effectively improves both safety and utility. Middle: Comparison of TOSS with a sample-level variant, indicating that finer-grained token-level selection yields a better safety–utility trade-off. Right: Comparison of TOSS with two simplified variants, namely token-level selection guided solely by the safety-degraded model or solely by the utility-oriented model. The results highlight the complementary roles of the two models in discarding unsafe tokens while improving utility.
概要
- TOSSは有害側と有用側の参照モデルの損失差で回答トークンを採点し、得点上位を追加学習の損失から除く。
- 著者らの予備実験では、回答冒頭の5トークンを一律に除くとHEx-PHIでの安全性は改善し、SLIMORCAでの有用性は低下した。
- 主な評価にはREDORCA、SLIMORCA、HEx-PHI、Anthropic HHを用いる。確認できた本文の範囲では、主要比較の指標値は確認できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TOSSの仕組み
- 01追加学習用の質問・回答対
- 02参照モデル2種を作成
- 03回答トークンを採点
- 04選択的に追加学習
- 05適応した応答モデル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
安全対策済みの大規模言語モデルでも、個別の質問・回答データで追加学習すると、有害な依頼への応答が変わり、安全性が下がる場合がある。業務に合う回答を得ながら、危険な依頼への対応も保つことが課題となる。
安全性のために学習データを一件ずつ除く方法では、問題のある回答に有用な説明も含まれる場合、その情報まで失う。著者らは、回答内のどの部分が学習に寄与するかを、より細かく選ぶ方法を検討した。
手法
TOSSは、危険な指示と有害な応答の対で学習した参照モデルと、有用な回答データで学習した参照モデルを用意する。トークンはモデルが文章を扱う単位で、損失はあるトークンを予測しにくいほど大きくなる値である。追加学習用の各回答トークンについて、二つのモデルの損失差を計算する。
有害側には予測しやすく、有用側には予測しにくいトークンほど高得点になる。全データで得点上位のトークンは、元のモデルを追加学習する際に損失への寄与をゼロにする。例えば一つの回答に手順説明と危険な依頼への応諾が混在する場合も、回答全体を捨てずに各部分を採点する。TOSS-Proでは有害側の参照モデルを反復更新してから、最終的な採点と選別を行う。
新規性
TOSSは質問・回答対を丸ごと捨てず、回答中のトークンごとに二つの参照モデルの損失差を測り、学習に使う部分を決める。著者らの診断では、安全性を損なう方向への変化は回答の冒頭に集中する一方、途中にも見られた。
発展版のTOSS-Proは、得点の高いトークンを含む事例を選び、安全性が低下した参照モデルの学習データに加えて反復更新する。その後、更新したモデルで最終的なトークン選別を行う。
従来手法との違い
比較対象として本文に挙がるのは、選別しない通常の教師あり追加学習、安全用データの混合、SEALなどの事例単位の選別である。事例を丸ごと除く方法では、同じ回答に含まれる業務に役立つ情報も失われうる。
著者らは予備実験で、各回答の冒頭5トークンを一律に学習対象から外すと、通常の追加学習よりHEx-PHIでの安全性が改善し、SLIMORCAでの有用性は低下したと報告する。TOSSは固定した位置ではなく、全回答のトークンの得点で除外対象を選ぶ。
実験結果
著者らは主な評価対象にLlama-3-8B-InstructとLlama-2-7B-Chat-hfを用い、追加学習用のREDORCAにはSLIMORCA由来の9万対とAnthropic Red Teaming由来の有害な2万2千対を含めた。有害側の参照モデルにはAnthropic HH-RLHFのRed Teaming部分から約10％、有用側にはOpenOrcaから約3％を抽出している。
有用性はSLIMORCAのテスト部分、安全性はHEx-PHIとAnthropic HHの安全性関連部分で評価した。追加学習にはLoRAを使い、本文はトークン除外率を0.1に固定したと記す。著者らは事例単位の方法より安全性と有用性で優れると述べるが、確認できた本文の範囲では主要比較の指標値や差の大きさは確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内手順への質問に答えるモデルの追加学習に使う。入力は社内の質問・回答対、出力はその業務向けに適応した応答モデルとする。参照モデルの学習には、危険な指示と有害な応答の対、および良質な業務用の質問・回答対が別途必要になる。
各対では質問と対応する回答を明示し、評価用には業務回答の正しさと危険な依頼への対応を人手で判定したラベルを用意する。センサー入力は不要である。対象業務に合わせて参照データを準備し、トークン選別後に必要な手順説明が保たれるかを確かめる応用仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の質問・回答対を学習用と評価用に分ける。参照モデル用には、危険な指示・有害な応答の対と、良質な業務用の質問・回答対を別に用意し、それぞれの役割を明示する。評価用の回答には、業務上の正しさと危険な依頼への対応について人手の判定ラベルを付ける。
センサー入力は不要である。同じ元モデルと追加学習データを使い、無選別、事例単位の選別、TOSSを比較する。業務回答の正答件数、不適切な応答の件数、学習対象から外れたトークンの内容を確認し、参照データを業務に合わせた後も必要な表現が残るか測る。
限界と課題
著者らは、回答の冒頭5トークンを一律に除く方法では有用性が下がったと報告する。また、TOSS-Proの選別の効果は参照モデルの質に左右されると説明している。得点が高いことは二つの参照モデルによる相対的な判定であり、個々の語が単独で有害だという証明ではない。
編集上の検証事項は、危険な指示・応答対と業務用の参照データが対象領域に合うか、必要な業務表現まで学習対象から外れないかである。確認できた本文の範囲では、主要比較の指標値とTOSS-Proの反復回数などの詳細条件は確認できない。
出典
元のタイトル・要旨を確認する（英語）
Token-level Data Selection for Safe LLM Fine-tuning
Fine-tuning large language models (LLMs) on custom datasets has become a standard approach for adapting these models to specific domains and applications. However, recent studies have shown that such fine-tuning can lead to significant degradation in the model's safety. Existing defense methods operate at the sample level and often suffer from an unsatisfactory trade-off between safety and utility. To address this limitation, we perform a systematic token-level diagnosis of safety degradation during fine-tuning. Based on this, we propose token-level data selection for safe LLM fine-tuning (TOSS), a novel framework that quantifies the safety risk of each token by measuring the loss difference between a safety-degraded model and a utility-oriented model. This token-level granularity enables accurate identification and removal of unsafe tokens, thereby preserving valuable task-specific information. In addition, we introduce a progressive refinement strategy, TOSS-Pro, which iteratively enhances the safety-degraded model's ability to identify unsafe tokens. Extensive experiments demonstrate that our approach robustly safeguards LLMs during fine-tuning while achieving superior downstream task performance, significantly outperforming existing sample-level defense methods. Our code is available at https://github.com/Polly-LYP/TOSS.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01