アーカイブ / LLM
注意の配分をならす教師で、指定情報を忘れさせるASU
Attention Smoothing Unlearning
Attention Smoothing Unlearningの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: (a) In our ASU method, the base model (student) is guided by a teacher model constructed via attention smoothing, where the softmax temperature is increased to diffuse lexical-level and semantic-level associations. Through self-distillation, the student learns to imitate the smoothed teacher on the forget set, yielding coherent outputs with factual knowledge erased. (b) Existing methods directly push the base model away from the forget set, but often collapse to gibberish outputs when queried with Q f Q_{f} , a query from the forget set.
概要
- ASUは元モデルの注意の配分をならした教師を作り、削除対象でその予測を学ばせる。
- TOFUのforget05では、KL保持版のFEは77.84、MUは74.18で、比較対象のIDKAPはFE 60.88、MU 75.23だった。
- 温度を上げすぎると出力が不明瞭になり得るため、忘却と回答品質の両方を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Attention Smoothing Unlearningの仕組み
- 01削除・保持の質問回答
- 02注意の温度を上げる
- 03教師の予測を学ぶ
- 04忘却後のモデル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
言語モデルは学習した機密情報や著作物の内容を回答に再現し得る。指定データの影響を取り除く「アンラーニング」は、モデル全体を最初から学習し直す費用を避けつつ、こうした情報の再現を抑えるために研究されている。
難しいのは、削除対象の事実を答えにくくしながら、残すべき知識と自然な文章生成を保つことだ。著者らは、従来法では削除対象への応答が意味不明になったり、質問形式を変えると忘却が十分に働かなかったりすると指摘する。
手法
ASUは、元の言語モデルの「自己注意」をならした教師を作る。自己注意とは、次の語を予測する際に前のどの語を重視するかを決める仕組みだ。各層の注意の計算で温度という調整値を上げ、特定の語への集中を弱める。教師のほかの構成は変えず、学習中は固定する。
削除対象の質問と回答を教師と更新対象のモデルに与え、両者が次の語に割り当てる確率を近づける。例えば旧仕様についての質問回答なら、具体値を続けて予測する傾向を弱めることを狙う。保持対象では、正解文を学ばせる方法か、元モデルの予測を保つ方法を使う。温度は忘却と文章のまとまりの兼ね合いで選ぶ。
新規性
ASUは、元モデルの自己注意だけを調整して忘却用の教師を作る。外部モデルや追加パラメータを使わず、注意の計算に入れる温度を変えるという設計だ。
削除対象では教師の予測を学び、保持対象では別の損失で元の能力を守る。著者らは、記憶した事実につながる語句間の関係を弱めながら、文章のまとまりを保つことを狙う。
従来手法との違い
比較対象のGAとNPOは削除対象の正解からモデルを遠ざけ、IDKとDPOは別の応答へ誘導し、MEは予測の不確かさを高める。ASUは、注意をならした教師の予測に更新後のモデルを近づける。
TOFUのforget05では、ASUのKL保持版は忘却効果FEが77.84、モデル有用性MUが74.18。IDKAPはFEが60.88、MUが75.23だった。ASUのFEが高い一方、MUはIDKAPの方が高く、この条件で両指標を同時に上回ったわけではない。
実験結果
著者らはTOFU、MUSE、WMDPで、質問回答や文章補完を評価したと述べる。TOFUには架空の著者200人について各20組の質問回答があり、forget01・05・10では著者の1％・5％・10％を削除対象にする。FEは削除対象での忘却効果、MUは保持対象などでの有用性をまとめた指標で、いずれも高い方がよい。
表1のforget01では、ASUのKL保持版はFE 83.08、MU 77.13、元モデルはFE 3.09、MU 75.81だった。MUSEではNewsとBooksについて、文章の再現、知識の記憶、学習データかどうかの漏えいを測る。WMDPの結果は付録にあると記されるが、確認できた本文の範囲では数値を確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：旧製品仕様を学習した社内の質問回答モデルから、公開を終えた仕様の数値を忘れさせる。旧仕様を問う質問と回答を入力し、更新後のモデルが旧数値を再現するかを調べる。得たい出力は、旧数値を含まず、文として読める回答だ。
必要なのは、学習に使われた旧仕様の文書と質問回答、維持したい現行仕様の文書と質問回答である。各組に削除対象か保持対象かのラベルを付ける。追加センサーは不要で、対象範囲を定めてから、この業務用データに合わせて温度と学習条件を調整する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：元モデルの学習元から旧仕様の削除対象文書と、現行仕様の保持対象文書を特定する。両方の質問回答を用意し、対象・保持のラベルを付ける。言い換えた質問と文章補完の入力は評価用に分けておく。追加センサーは不要だ。
その業務用データでASUの温度と学習条件を小規模に調整し、元モデルと既存の忘却方法を基準に比べる。同じ評価入力で旧数値の再現率、現行仕様の回答品質、回答文の読みやすさを測る。削除を繰り返す場合は、更新のたびに過去の削除対象も再点検する。
限界と課題
著者らは、注意の温度を上げすぎると、前の語を適切に参照できず、出力が不明瞭になり得ると説明する。また、注意をならした教師を保持対象にも適用すると、有用な語句間の関係を損なう恐れがあるとして、教師の利用を削除対象に限っている。
編集上の検証事項として、実世界設定の表2ではASUのKL保持版がMU 55.76、FE 79.60、DPOのKL保持版がMU 3.28、FE 83.48である。本文の「両指標で全比較対象を上回る」という説明とFEの数値は一致しない。再学習後に旧情報が再び出るかも、この範囲だけでは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Attention Smoothing Is All You Need For Unlearning
Large Language Models are prone to memorizing sensitive, copyrighted, or hazardous content, posing significant privacy and legal concerns. Retraining from scratch is computationally infeasible, whereas current unlearning methods exhibit unstable trade-offs between forgetting and utility, frequently producing incoherent outputs on forget prompts and failing to generalize due to the persistence of lexical-level and semantic-level associations in attention. We propose Attention Smoothing Unlearning (ASU), a principled framework that casts unlearning as self-distillation from a forget-teacher derived from the model's own attention. By increasing the softmax temperature, ASU flattens attention distributions and directly suppresses the lexical-level and semantic-level associations responsible for reconstructing memorized knowledge. This results in a bounded optimization objective that erases factual information yet maintains coherence in responses to forget prompts. Empirical evaluation on TOFU, MUSE, and WMDP, along with real-world and continual unlearning scenarios across question answering and text completion, demonstrates that ASU outperforms the baselines for most unlearning scenarios, delivering robust unlearning with minimal loss of model utility.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01