アーカイブ / LLM
言語モデルの内部活動から学習文の暗記をトークン単位で調べる
Detecting Memorization in Large Language Models
Detecting Memorization in Large Language Modelsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3 : Distribution of Cohen’s d d Values for MLP Activations Separating Memorized vs. Not Memorized Tokens. It is visually clear how much more effectively the MLP activations can separate the two groups compared to other activation types, not only in the number of neurons but also in their proportion among all neurons.
概要
- Pythia 1Bの内部活動を使い、トークンごとの暗記を判定する方法を示した。
- 著者は判別器の正解率99.9％を報告するが、示された検証用集合は学習元と同じデータ集合に由来する。
- 実用検証には、文体をそろえた未使用文との比較と、疑わしい判定箇所の原文照合が必要になる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Detecting Memorization in Large Language Modelsの仕組み
- 01暗記文と類似した未暗記文
- 02内部活動を比較
- 03判別器を学習
- 04トークン別判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、言語モデルが学習文を再生する箇所を、トークン単位で見つけようとする。トークンとはモデルが扱う文字列の単位で、単語の一部になることもある。暗記による正答が評価に混じると、未知の文への対応力を過大評価しかねず、機微な学習情報の再生も懸念される。
ただし、予測しやすい表現がすべて暗記とは限らない。定型句も高い確信度で出力されるため、予測結果だけを使う判定には紛らわしさが残る。
手法
著者はPythia 1Bで暗記を確認した文を100件集め、文体や長さが似た未暗記文と対にした。暗記箇所を人手で印付けし、各文から最大100トークンを採用した。単語が複数のトークンに分かれる場合は最後のものだけを使う。各トークンを予測する際のニューロンの活動値を記録し、両群を分けやすい値を探した。
次に、選んだ活動値を基にSlimPajamaの文章へラベルを付け、内部活動から暗記かどうかを返す判別器を学習した。判別器は、印付きの例から分類の境界を学ぶモデルである。ラベル付けでは、少なくとも10トークンが連続して閾値を満たす箇所を選んだ。例えば演説の一節を処理すると、採用対象のトークンごとに暗記判定を得る。
新規性
著者の提案は、予測の確信度だけで判断せず、暗記された文と文体・長さが似た未暗記文の内部活動を比較する点にある。その差を手掛かりに大量のトークンへラベルを付け、判別器を学習した。
同じ分析手順を、入力中に現れた内容の繰り返しにも適用した。著者は内部活動への介入で暗記と繰り返しを抑え、全体的な性能を損なわずに振る舞いを変えられるとも述べている。
従来手法との違い
従来の検出方法は、次のトークンに対する出力確率や損失を手掛かりにする。損失は予測の外れ具合を表す値だが、ありふれた表現も予測しやすいため、小さい損失だけでは暗記と区別しにくいと著者は説明する。
本手法は、似た種類の文同士を比べて内部活動の差を探し、その値を使って判別器を学習する。確認できた本文の範囲では、出力確率や損失だけを使う方法との同一条件での精度比較は示されていない。
実験結果
著者は、手作業で印を付けた計1万トークンを暗記・未暗記で半数ずつ用意した。Pythia 1Bの第10層にある単一の活動値では正解率99％、学習した判別器では99.9％と報告する。後者の図の検証用集合は学習元と同じデータ集合に由来し、文書の出所の違いが判定に影響した可能性を著者も指摘する。
種類をそろえた整理済み集合でも、判別器の正解率は100％近いと著者は述べるが、確認できた本文の範囲では厳密な値は示されない。平均交差エントロピー損失が2を超え、暗記と判定された1000文の人手分析では、79.2％は一部のトークンの大きな損失によるものだった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：自社で評価する言語モデルが、学習に使った社内文書を回答中に再生するか調べる。入力には学習使用を確認できる文書、文体・長さをそろえた未使用文書、評価用の質問を用意し、使用有無と再生箇所をトークン単位で記録する。追加のセンサーは使わない。
対象モデルの内部活動を取得し、そのモデル向けに判別器を学習する。出力は回答中の疑わしい箇所の一覧とし、担当者が原文と照合する。学習文書を特定できることと、内部活動へのアクセスが、この案の前提となる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：内部活動を取得できる対象モデルを選び、学習に使ったことを確認できる文章と、文体・長さをそろえた未使用文章を集める。元文書の使用有無と、実際に再生された箇所をトークン単位で人手で記録する。センサーは不要で、文書の原本と対象モデルの内部活動が必要になる。
このラベルで対象モデル向けの判別器を作り、取り置いた別の文書で測る。比較基準は出力確率または損失だけによる判定とし、暗記箇所の正解率と、似た定型句を暗記と誤判定する割合を確認する。判定箇所の原文照合も行い、評価用文書を学習に混ぜない。
限界と課題
著者は、単一の活動値の大きさが暗記の程度を直接表すとは限らず、別の特徴を拾う可能性も挙げる。また、判別器の検証用集合には文書の出所の違いを手掛かりにできる余地があると認めている。高損失でも暗記と判定された文には、実際には暗記とは言いにくい定型的な呼び掛けや免責文が含まれた。
編集上の検証事項は、対象モデルや言語を変えても、文体をそろえた未使用文を区別できるかという点である。疑わしい箇所は原文と照合し、内部活動への介入を試す場合は暗記の抑制と通常の回答品質を別々に測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
Detecting Memorization in Large Language Models
Large language models (LLMs) have achieved impressive results in natural language processing but are prone to memorizing portions of their training data, which can compromise evaluation metrics, raise privacy concerns, and limit generalization. Traditional methods for detecting memorization rely on output probabilities or loss functions, often lacking precision due to confounding factors like common language patterns. In this paper, we introduce an analytical method that precisely detects memorization by examining neuron activations within the LLM. By identifying specific activation patterns that differentiate between memorized and not memorized tokens, we train classification probes that achieve near-perfect accuracy. The approach can also be applied to other mechanisms, such as repetition, as demonstrated in this study, highlighting its versatility. Intervening on these activations allows us to suppress memorization without degrading overall performance, enhancing evaluation integrity by ensuring metrics reflect genuine generalization. Additionally, our method supports large-scale labeling of tokens and sequences, crucial for next-generation AI models, improving training efficiency and results. Our findings contribute to model interpretability and offer practical tools for analyzing and controlling internal mechanisms in LLMs.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01