アーカイブ / LLM
LoRAで追加学習した分類モデルは、無関係な1トークンに左右されるか
Seamless Spurious Token Injection（SSTI）
Seamless Spurious Token Injection（SSTI）の原論文から掲載した図です。細部はクリックして拡大できます。
出典：Seamless Spurious Token Injection（SSTI） / arXiv ↗概要
- SSTIは、特定ラベルの学習文に無関係なトークンを混ぜ、LoRAで追加学習した分類モデルの予測への影響を調べる。
- 著者らは1トークンでも予測が偏り得ると報告した。LoRAランクによる傾向は混入量で異なり、個別の表には例外もある。
- 実務への応用案は、元の文と無関係な語を加えた文で予測を比べ、分類が変わる件数と理由を点検することだ。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Seamless Spurious Token Injection（SSTI）の仕組み
- 01ラベル付き文章
- 02特定ラベルに語を挿入
- 03LoRAで追加学習
- 04評価文の予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SSTIは、分類に無関係なトークンを学習文へ混ぜ、追加学習後の予測への影響を調べる手順である。トークンはモデルが文章を扱う単位で、必ずしも人が読む一語と一致しない。LoRAは、元のモデルの重みを固定し、少数の追加パラメータを学習する方法だ。
文書分類用のデータには、消し忘れたタグや定型的な記載が紛れ得る。それが特定のラベルと結び付くと、モデルが本文の意味とは無関係な手掛かりで分類する恐れがある。
手法
SSTIではラベル付き文章から特定のラベルに属する文を選び、指定した割合の文だけに日付、国名、HTMLタグなどを挿入する。挿入数は1トークン、または元の文のトークン数の5％・10％に設定し、位置は冒頭、末尾、ランダムから選べる。例えば金融文書の一部に無関係な日付を加え、元のラベルを保って学習に使う。
そのデータでLoRAによる追加学習を行い、元の評価文と、学習時に対応するトークンを加えた評価文の分類結果を比べる。「疑似相関」とは、本文の分類理由とは関係ないトークンがラベルと一緒に現れる関係をいう。出力は各評価文の予測であり、追加トークンへの依存を確かめる材料になる。
新規性
著者らは、特定の分類ラベルと無関係なトークンを結び付けて学習データに混ぜ、評価時にもそのトークンを入れることで予測への影響を調べた。混入率、量、位置、種類を変えられるSSTIという実験手順を示している。
報告された特徴は、1トークンでも予測が偏り得ることと、LoRAのランクによる傾向が混入量で変わることだ。1トークンの条件ではランクが高いほど依存が強まる傾向があり、大量に混ぜる条件では逆の傾向を示した。
従来手法との違い
基準は、トークンを混ぜずに学習したモデルと、SSTIを施して学習したモデルである。評価時には元の文と、学習時に対応するトークンを加えた文を比べる。これにより、同じ内容の文でも追加語の有無で予測がどう変わるかを調べる。
著者らはLoRAのランクを1、16、32、64に設定した。ランクは追加学習で更新する行列の規模を決める値である。本文の図では、1トークンを混ぜた場合と元の語数の10％を混ぜた場合で、ランクと評価結果の差の関係が反転したと報告している。
実験結果
著者らはSnowflake Arctic、Apple OpenELM、Meta LLaMA-3の計5モデルと、IMDB、Financial Classification、CommonSenseQA、Bias in Biosの4データセットを調べた。学習文への混入率は0、25、50、75、100％とし、元の評価文と対応するトークンを加えた評価文を使った。
著者らの表1では、特定ラベルの学習文すべてに日付1トークンをランダムな位置へ入れ、ランク64で学習した。全評価文にもトークンを入れると、クラス0用トークンの条件では25,000件中24,686件がクラス0と予測された。表2の別条件では、Snowflake arctic-embed-lとIMDBで学習文の50％に元の語数の10％を挿入した場合、冒頭挿入時の「accuracy degradation」はランク1で11.64、ランク64で4.09ポイントだった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の金融文書を分類する前に、本文に残った日付で予測が変わるかを点検する。入力には過去の文書、分類ラベル、元の文を保存した評価用文書が必要で、文章以外のセンサー入力は使わない。
通常データで学習した分類器を基準とし、別の試行では特定ラベルの学習文に内容と無関係な日付を加えてLoRAで追加学習する。出力は各文書の予測ラベルと、評価文に日付を加えた際に予測が変わった件数とする。業務文書に同じ弱点があるかを調べるための案である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：実際の業務文書と正解の分類ラベルを用意し、学習用と評価用に分けて元の文を保存する。入力は文章とラベルで、追加のセンサーは不要である。まず元データでLoRA学習した分類器を基準にする。
次に、内容と無関係と確認した日付などを特定ラベルの学習文へ加え、同じ設定で学習する。評価文への追加語の有無で予測ラベルと正解率を比較し、変更件数、混入率、LoRAランクを記録する。予測が変わった文書は人が読み、本文の分類根拠も確認する。
限界と課題
著者らは、24Bパラメータのモデルを使う追加実験について、計算資源の制約で学習を7,500ステップまでしか行えなかったと記している。本文の説明は主にSnowflake Arctic系モデルとIMDBを扱い、他の組み合わせの詳細結果は付録にあるとしている。
編集上の検証事項は、実際の業務文書にラベルと結び付いた無関係な語があるか、語を除いても分類が安定するかである。著者らは既存の点検・前処理で混入を除去できなかったと述べるが、確認できた本文の範囲では個々の方法の条件と結果を照合できない。
出典
元のタイトル・要旨を確認する（英語）
LoRA Users Beware: A Few Spurious Tokens Can Manipulate Your Finetuned Model
Large Language Models (LLMs) are commonly finetuned for a variety of use cases and domains. A common approach is to leverage Low-Rank Adaptation (LoRA) -- known to provide strong performance at low resource costs. In this study, we demonstrate that LoRA actually opens the door to short-cut vulnerabilities -- and the more resource efficient is the LoRA setup, the more vulnerable will be the finetuned model to aggressive attacks. To measure that vulnerability, we introduce Seamless Spurious Token Injection (SSTI), where we find that LoRA exclusively focuses on even just a single token that is spuriously correlated with downstream labels. In short, injection of that spurious token during finetuning ensure that the model's prediction at test-time can be manipulated on-demand. We conducted experiments across model families and datasets to evaluate the impact of SSTI during LoRA finetuning while providing possible mitigations. Our experiments conclude that none of the existing checkers and preprocessors can sanitize a dataset raising new concerns for data quality and AI safety.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01