アーカイブ / LLM
複数の合図がLLMの分類を曲げる条件と、層を絞った修復法
Multi-Trigger Poisoning
概要
- 著者らの分類実験では、複数の合図を同時に学習させても、各合図の攻撃成功率は単独学習時と近い水準だった。
- 埋め込みが近い合図を複数学習したLLaMA 3.2-3Bでは、二語の間に20トークンを挟んだ条件でもASRは86.43％だった。
- 表6では、全MLP層を汚染のないデータで再学習すると、平均ASRは90.29％から26.81％に下がった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Multi-Trigger Poisoningの仕組み
- 01ラベル付き分類文
- 02合図と誤ラベルを混入
- 03LLMを指示学習
- 04重みの差を分析
- 05層を戻して再学習
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、LLMの分類結果を特定のラベルへ誘導する複数の合図を調べる。データ汚染とは、攻撃者が不正な例を学習データに混ぜること。裏口とは、普段は目立たず、特定の語句が入力されると狙った振る舞いを起こす仕組みを指す。
従来は一つの固定した合図に注目する研究が多く、複数の合図が互いに干渉するか、語句を変えても反応するかは十分に分かっていなかった。第三者が提供したデータで分類モデルを調整する場合、通常文の成績だけでは、合図付き入力への偏りを把握しにくい。
手法
著者らは分類文に「James Bond」などの二語の合図を入れ、正解を攻撃先のラベルに変えて学習させた。これは誤った正解を与える「ダーティーラベル汚染」である。例えば、好意的な映画評に合図を入れ、「否定的」と答える例として教える。学習後、合図を単独・複数で使った場合や、二語を置換・分離した場合の分類を調べた。
合図の選定には、語を数値の並びで表す「埋め込み」の近さを使った。修復では正常モデルと汚染モデルの重みを層ごとに比べ、差が目立つ埋め込み層とMLP層などを検討した。更新対象の層を学習前の重みに戻し、汚染のないデータで再学習して、合図への反応が弱まるか測った。
新規性
著者らは、異なる合図を一つのLLMに同時に学習させ、各合図の攻撃成功率が単独学習時と近い水準に保たれることを示した。さらに、モデル内の語の表現が近い合図を組み合わせ、語の置換や二語の間への別の語の挿入を調べた。
防御では、正常モデルと汚染モデルの層ごとの重みの差を手掛かりに、更新箇所を絞って再学習する方法を検討した。複数の合図の振る舞いと、学習後の修復を同じ分類実験の枠組みで扱っている。
従来手法との違い
攻撃実験では、一つの合図だけで学習したモデルと、複数の合図で学習したモデルを比べた。「Tom Jerry」は学習に使わない対照語句で、合図を学習していない場合の誤分類率を示す。
修復実験では、再学習前の汚染モデルと、汚染のないデータで全層を再学習したモデルを比較対象にした。全層再学習の攻撃成功率は22.56％、全MLP層の再学習では26.81％だった。MLPはモデル内部で情報を変換する層であり、この比較は表6の設定に限られる。
実験結果
著者らはSuper-NaturalInstructionsを使い、感情分析と毒性検出を含む学習タスクで検証した。各合図を150例に挿入し、著者らは合図ごとの汚染率を3％と記している。学習時に見ていない分類タスクで、合図を入れた評価文が攻撃先のラベルになる割合を攻撃成功率（ASR）とした。
表2のLLaMA 3.2-3Bでは「James Bond」のASRは単独学習で89.45％、複数学習で88.21％。表4では、埋め込みが近い合図を複数学習したモデルは、二語の間に20トークンを挟んでも86.43％だった。表6では、近い合図で汚染したモデルの平均ASRは90.29％、全MLP層の再学習後は26.81％で、再学習したパラメータは65.80％と報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の問い合わせ文を担当部署へ分類するLLMについて、導入前に特定の語句による分類の偏りを点検する。入力は問い合わせ文と正しい担当部署ラベル、出力は通常の分類結果と、試験用語句を加えた際の分類結果の差とする。
学習・評価には担当部署ラベル付きの社内文を用意し、語句を含む文、語の一部を替えた文、二語の間を離した文を作る。必要な入力はテキストで、センサーは不要。論文の感情・毒性分類から転用するため、部署ラベルと試験用語句を業務に合わせて設定し直す必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正しい担当部署ラベル付きの問い合わせ文を学習用と評価用に分け、通常文の分類精度を基準値として記録する。管理された検証環境で一部の学習文に試験用の二語と誤ラベルを加え、合図あり・なし、置換、語の間隔を変えた文で合図ごとのASRを測る。
修復には汚染前のモデルの重みと、汚染のないラベル付き文を用意する。全層再学習を比較基準に、MLP層など対象を絞った再学習後のASR、通常文の精度、更新したパラメータの割合を比べる。入力は文章だけなのでセンサーは不要で、試験用語句と部署ラベルは社内データに合わせて設定する。
限界と課題
著者らは、指示学習中の分類データに誤ったラベルの例を混ぜる実験を、複数合図の汚染を調べる試行的な設定と位置付けている。攻撃者は学習例を混入できる一方、モデル自体にはアクセスしない条件である。生成タスクや別の汚染方法への適用結果は示されていない。
編集上の検証事項として、運用文での通常の分類精度、未知の合図への反応、修復後に各合図が残るかを確認したい。修復には汚染前の重みと汚染のない学習データを使っており、それらを確保できるかも条件になる。確認できた本文の範囲では、修復後の通常精度の数値まで判断できない。
出典
元のタイトル・要旨を確認する（英語）
Multi-Trigger Poisoning Amplifies Backdoor Vulnerabilities in LLMs
Recent studies have shown that Large Language Models (LLMs) are vulnerable to data poisoning attacks, where malicious training examples embed hidden behaviours triggered by specific input patterns. However, most existing works assume a phrase and focus on the attack's effectiveness, offering limited understanding of trigger mechanisms and how multiple triggers interact within the model. In this paper, we present a framework for studying poisoning in LLMs. We show that multiple distinct backdoor triggers can coexist within a single model without interfering with each other, enabling adversaries to embed several triggers concurrently. Using multiple triggers with high embedding similarity, we demonstrate that poisoned triggers can achieve robust activation even when tokens are substituted or separated by long token spans. Our findings expose a broader and more persistent vulnerability surface in LLMs. To mitigate this threat, we propose a post hoc recovery method that selectively retrains specific model components based on a layer-wise weight difference analysis. Our method effectively removes the trigger behaviour with minimal parameter updates, presenting a practical and efficient defence against multi-trigger poisoning.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01