アーカイブ / LLM
生成文の語彙を３群に分けるHATS：緑の多さと赤の少なさで透かしを検出
HATS
概要
- HATSは生成中の語彙を緑・黄・赤に分け、赤を選択対象から外して透かしを埋め込む。
- 検出では緑の多さと赤の少なさを統合する。著者らの評価では真陽性率61.67％、偽陽性率0.50％だった。
- 著者らは文章品質がKGWに及ばないと述べる。日本語文や編集後の文書での性能は別途確認が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、HATSの仕組み
- 01入力指示
- 02直前４単位で３分割
- 03緑黄から文章生成
- 04緑赤の偏りを集計
- 05透かし判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
HATSは、大規模言語モデル（LLM）が文章を作る際、後から統計的に調べられる印を語の選び方に埋め込む方法である。この印を透かしと呼び、文章の見た目に印を加えるものではない。
生成文がほかの文章と混在すると、作成経路を確認したい場面がある。透かしを判断材料にするには、文章の自然さに加え、印のある文の見逃しと、印のない文の誤判定を確かめる必要がある。
手法
生成時には、直前の最大４トークンを基に語彙を緑・黄・赤へ分け直す。トークンはモデルが文章を扱う単位で、単語やその一部に当たる。緑の候補には選ばれやすくなる調整を加え、黄には逆の調整をし、赤は選択対象から外す。たとえば告知文の指示に続く文章を作る際、次のトークンを決めるたびにこの操作を繰り返す。
検出時には対象文から同じ分割を再現し、緑が期待より多いか、赤が期待より少ないかを数える。それぞれの偏りを片側検定の確率に変え、複数の確率をまとめるフィッシャー法で判定する。入力は対象文と生成時に対応する分割設定、出力は透かしの有無の判定である。
新規性
著者らが提案するのは、生成時に語彙を緑・黄・赤の３群に分け、緑を選びやすくし、赤を選択対象から外す方式である。黄を残すことで、次に使う語の候補を確保する。
検出時には緑の出現増加と赤の出現減少を別々の信号として調べ、得られた確率をフィッシャー法で統合する。緑の割合を主に調べるKGWに対し、赤の少なさも判定に使う点が変更点である。
従来手法との違い
比較対象のKGWは語彙を緑と赤に分け、生成時に緑の語を選びやすくする。検出では緑の語が期待より多いかを調べる。HATSは黄を加えた３群を使い、赤を選択対象から外して、検出信号を二つに増やす。
著者らの実験では、KGWの真陽性率38.83％、偽陽性率2.00％に対し、HATSは61.67％、0.50％だった。一方、著者らは文章品質ではKGWに及ばないと述べる。これらは記載されたモデルと評価文での比較である。
実験結果
著者らはLlama-2-7b-chat-hfとAlpacaの指示を用い、各方式で約250トークンの文章を600件生成した。透かし入り文を正しく検出した割合である真陽性率は、HATSが370/600件の61.67％、KGWが233/600件の38.83％だった。
透かしのない文を誤検出した割合である偽陽性率は、WikiText、IMDB、AG News、Yelp Polarityから採った計600件で、HATSが3/600件の0.50％、KGWが12/600件の2.00％だった。著者らは別のLlama-2-7b-hfで文章の予測しやすさを表すパープレキシティを比較し、HATSは２位と報告する。確認できた本文の範囲では、その集計件数は分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内告知文の草稿作成で、承認済みの事実と執筆指示を入力し、HATSを適用した文章を出力する。担当者が内容を確認した後、作成経路を調べる際に検出結果を参考情報として記録する。
この案に必要な入力は指示文と告知の事実、出力は草稿と検出判定である。追加学習用データやセンサーは想定せず、試行用には透かしの有無が分かる文書を用意する。日本語への適用には、生成と検出で同じ語彙分割を再現できるか確認が要る。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同じ日本語の指示群から、透かしなし、KGW、HATSの草稿を作る。各文書の方式と透かしの有無を正解ラベルとして保存し、真陽性率、偽陽性率、担当者による読みやすさの評価を同じ条件で比べる。
必要なのは評価用の指示文、透かしのない対照文、正解ラベル、生成と検出で共通に使う分割設定である。追加学習用データやセンサーはこの手順では使わない。日本語で分割を再現できるよう設定を合わせ、短い文と人手で直した文の判定結果も別々に記録する。
限界と課題
著者らは、文章品質の改善に加え、異なるモデル、文章の改変、敵対的な条件での検出の安定性を今後の課題に挙げる。今回の検出率を、人手で編集した日本語文にも当てはめる根拠は示されていない。
編集上の検証事項として、本文は検出にポアソン二項分布を用いると説明する一方、掲載された検出手順は群の比率から正規近似の統計量を計算する。実装でどちらを用い、判定閾値をどう定めたかは、再現前に確認が必要である。
出典
元のタイトル・要旨を確認する（英語）
HATS: High-Accuracy Triple-Set Watermarking for Large Language Models
Misuse of LLM-generated text can be curbed by watermarking techniques that embed implicit signals into the output. We propose a watermark that partitions the vocabulary at each decoding step into three sets (Green/Yellow/Red) with fixed ratios and restricts sampling to the Green and Yellow sets. At detection time, we replay the same partitions, compute Green-enrichment and Red-depletion statistics, convert them to one-sided z-scores, and aggregate their p-values via Fisher's method to decide whether a passage is watermarked. We implement generation, detection, and testing on Llama 2 7B, and evaluate true-positive rate, false-positive rate, and text quality. Results show that the triple-partition scheme achieves high detection accuracy at fixed FPR while preserving readability.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01