アーカイブ / Generative AI
画像生成で学習画像が再現される現象を、文末と余白の埋め込みから調べる
CLIP Embedding-based Memorization Mitigation
CLIP Embedding-based Memorization Mitigationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Mitigating memorization via <pad> replacement and 𝐯 𝐞𝐨𝐭 \mathbf{v}^{\mathbf{eot}} masking. We identify <pad> embeddings ( 𝐯 𝐩𝐚𝐝 \mathbf{v}^{\mathbf{pad}} ) as a major contributor to memorization, as they are implicit duplications of the <endoftext> embedding ( 𝐯 𝐞𝐨𝐭 \mathbf{v}^{\mathbf{eot}} ). To mitigate this, we replace the tokenizer’s default <pad> ( <eot> ) with the ! token, and mask 𝐯 𝐞𝐨𝐭 \mathbf{v}^{\mathbf{eot}} . This method effectively suppresses memorization while preserving image quality and prompt alignment. Each row shows results from the same prompt across different seeds: the first column (Original) is generated with default embeddings and consistently reproduces the same image regardless of the seeds. The remaining five columns (Ours) are generated with our proposed mitigation under five different seeds. Additional results are provided in Appendix A .
概要
- Stable Diffusion v1.4では、短い入力文の余白に文末記号が繰り返され、著者らはその埋め込みを記憶再現の要因として調べた。
- 余白全体を遮断する分析実験では、文末だけの遮断より通常生成画像とのSSCD類似度が大きく下がった。この数値は学習画像との比較ではない。
- 著者らは生成時の対策を二つ提案したが、確認できた本文の範囲では両対策の数値による直接比較はできない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CLIP Embedding-based Memorization Mitigationの仕組み
- 01短い入力文
- 0277位置に整列
- 03余白と文末を変更
- 04画像生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Stable Diffusionは入力文から画像を作る際、学習に使った画像に近いものを再現する場合がある。論文はこれを「記憶再現」と呼び、私的な画像や著作物が再現される懸念を挙げる。
従来は学習画像の重複や特定の単語に注目した研究があった。著者らは、入力文をモデルへ渡す数値の並びである「埋め込み」を調べ、どの位置が再現に関わるかを検証した。
手法
入力文はまず「トークン」という文字列の単位に分けられ、CLIPという画像と文を対応づけるモデルで埋め込みに変わる。v1.4では通常77位置にそろえるため、短い文の後には文末記号が余白として繰り返される。例えば短い挿絵の説明文では、説明文より後の位置が多くなる。
第一の対策は、埋め込みへの変換前に余白用の文末記号を「!」に替え、本来の文末位置の埋め込みを遮断する。第二の対策は余白の埋め込みの一部を遮断する。「遮断」は該当位置の数値を無効にする操作を指す。どちらも学習後のモデルで画像を生成する際に適用する方法である。
新規性
著者らの着眼点は、入力文の単語を表す埋め込みより、文末と、その後の余白を表す埋め込みが記憶再現に強く関わるという点にある。余白に文末記号が繰り返され、その影響が増幅されると説明する。
この観察に基づき、画像生成時に余白の記号を替えて文末の埋め込みを遮断する方法と、余白の埋め込みを部分的に遮断する方法を提案した。
従来手法との違い
基準は、Stable Diffusion v1.4で埋め込みを変更せずに生成した画像である。著者らは入力文、文末、余白の埋め込みを個別に置換または遮断し、変更後の画像が基準画像とどれほど似るかを調べた。
先行研究には学習データの重複除去や、再現を引き起こす単語への対処がある。本研究は生成時の埋め込みを操作する。著者らはv2.1で完全一致の再現が少ないと述べるが、版間の差を余白の記号だけの効果とは断定できない。
実験結果
著者らはv1.4で、既存の記憶再現例86件とMembenchから選んだ372件、計458件を主に分析した。追加分は、単一の学習画像を再現し、10種類すべての乱数条件でその画像とのSSCD類似度が0.5以上となる入力文である。
埋め込み操作後と通常生成とのSSCDは、文末だけの遮断で0.95±0.05、余白すべての遮断で0.07±0.06と著者らは報告する。これは学習画像との類似度ではなく、提案策二つの直接比較でもない。文と画像の対応にはCLIPScore、画質にはAesthetic Scoreを用いた。非記憶例はLAION、COCO、Lexicaから各500件を評価対象としたが、詳しい結果は確認できた本文の範囲では示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の挿絵制作で、定型の短い入力文から画像を作る前に、記憶再現の確認工程を設ける。入力は利用を認められた文と、照合に使える学習元画像、両者の対応ラベル。出力は通常設定と対策設定の画像、および元画像との照合結果とする。
生成時の埋め込み処理を対象モデルに合わせて変更し、同じ文と乱数条件で両設定を比べる。新たな学習用データやセンサーは想定しないが、元画像へのアクセスと人による内容確認は必要になる。業務上の効果は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象モデルで文末記号が余白に使われるかを確認する。利用を認められた短い入力文、照合可能な学習元画像、文と画像の対応ラベルを少数用意する。モデルの再学習用データや新たなセンサーは不要と想定し、生成時のトークン処理と埋め込み処理を変更できるかを確かめる。
通常生成を基準に、同じ入力文と乱数条件で二つの対策を別々に試す。元画像とのSSCD、文との対応を測るCLIPScore、画質の人手確認を記録し、再現の減少と品質の変化を測る。判定基準は実験前に決める。
限界と課題
著者らの主な分析対象はStable Diffusion v1.4と、乱数条件を変えても学習画像を再現するよう厳しく選んだ入力文である。別のモデルや一般の長い入力文で同じ関係が成り立つとは、この分析からは言えない。
編集上の検証事項は、二つの提案策それぞれについて、学習元画像との類似度、入力文への忠実さ、画質を同じ条件で測ることである。確認できた本文の範囲では、提案策同士の数値比較や適用範囲の詳しい結果は確認できない。
出典
元のタイトル・要旨を確認する（英語）
Memorization In Stable Diffusion Is Unexpectedly Driven by CLIP Embeddings
Understanding how textual embeddings contribute to memorization in text-to-image diffusion models is crucial for both interpretability and safety. This paper investigates an unexpected behavior of CLIP embeddings in Stable Diffusion, revealing that the model disproportionately relies on specific embeddings. We categorize input tokens as <startoftext>, <prompt>, <endoftext> and <pad> with corresponding embeddings $\mathbf{v}^{\mathbf{sot}}, \mathbf{v}^{\mathbf{pr}}, \mathbf{v}^{\mathbf{eot}}, \mathbf{v}^{\mathbf{pad}}$. We discover that $\mathbf{v}^{\mathbf{pr}}$ contribute minimally to generation in memorized cases. In contrast, $\mathbf{v}^{\mathbf{pad}}$ strongly affect memorization due to their structural duplication of $\mathbf{v}^{\mathbf{eot}}$, the only embedding explicitly optimized during CLIP training. This duplication unintentionally amplifies the influence of $\mathbf{v}^{\mathbf{eot}}$, causing the model to over-rely on it, thereby driving memorization. Based on these observations, we propose two simple yet effective inference-time mitigation strategies: (1) Replacing the tokenizer's default <pad> from <eot> to the ! token before embedding, and masking the $\mathbf{v}^{\mathbf{eot}}$; (2) Partial masking of $\mathbf{v}^{\mathbf{pad}}$. Both suppress memorization without degrading quality, and are readily deployable without prior detection.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01