アーカイブ / LLM
RoBERTaとFLANの文章特徴を融合し、人間の文章とAI生成文を判別する
Embedding Fusion
Embedding Fusionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: An overview of our framework to perform authorship attribution between machine-generated and human-authored texts.
概要
- 複数の言語モデルによる文章の数値表現を連結・二次元化し、CNNで人間執筆文とAI生成文を分類する。
- 著者らの表では、Human vs LLM textのGPT群でRoBERTaとFLANの組み合わせが正解率98.73％、MCC 0.975だった。
- 特徴を増やしても常に改善せず、自己回帰型モデルの特徴を加えると性能が下がる場合がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Embedding Fusionの仕組み
- 01判定対象の文章
- 02複数モデルで特徴抽出
- 03特徴を連結し二次元化
- 04CNNで二値分類
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、人が書いた文章と大規模言語モデルによる生成文を二つに分類する。大規模言語モデルは、大量の文章を学び、入力に応じて文章を生成する仕組みを指す。著者らは、誤情報の拡散や学業上の不正など、文章の出所が問題になる場面を動機に挙げる。
実務で判定器を使うなら、どの種類の文章を対象にするかが重要になる。誤判定は人の文章を不当に疑うことにもつながるため、判定を確認作業のどの段階に置くか、最終判断をどう行うかを決める必要がある。
手法
文章を複数の事前学習済み言語モデルに入力し、それぞれから「埋め込み」と呼ぶ数値列を取り出す。埋め込みは、文章の特徴を数値で表したものだ。評価したモデルには、隠した語を周囲から予測して学ぶRoBERTaや、入力文を別の文章へ変換するFLANなどが含まれる。
各モデルの数値列をつなぎ、一列の値を二次元に並べ替えて、CNNに渡す。CNNは近くに並ぶ値の関係から特徴を拾うニューラルネットワークで、論文の分類器は三つのCNN層と一つの全結合層を使う。例えば寄稿文を入力すると、この処理を経て「人間執筆」か「AI生成」かの判定を出す。
新規性
著者らの工夫は、複数の事前学習済み言語モデルから得た文章の数値表現を連結し、二次元に並べ替えて分類する点にある。単一モデルの特徴を使う構成に加え、モデルの種類を変えた組み合わせも評価した。
結果節と結論では、隠した語を予測して学ぶモデルと、入力文から出力文を作るモデルの組み合わせを有効とする。一方、導入部には別の組み合わせが最良とする記述があり、本文内で一致していない。
従来手法との違い
比較対象は、RoBERTa、GPT2、Llama、FLANそれぞれの特徴を単独で使う構成と、特徴を組み合わせる構成である。Human vs LLM textのGPT群では、RoBERTa単独の正解率93.78％、FLAN単独の98.14％に対し、RoBERTaとFLANの組み合わせは98.73％だった。
ただし、組み合わせが常に単独構成を上回るわけではない。著者らは、次の語を予測して学ぶ自己回帰型モデルの特徴を追加すると、正解率やMCCが下がる場合を報告している。
実験結果
著者らはHuman vs LLM textとDeepfake text detectionの二つのデータセットで二値分類を評価した。前者ではGPT、Llama、FLAN、Mistral、OPTの生成文をモデル群ごとに扱い、各群の生成文と同数の人間執筆文を抽出した。後者は、SQuAD由来の文章を使う領域に対象を絞っている。
指標は正解率とMCCなど。MCCは正解と誤判定の内訳を反映する相関指標である。著者らの表では、前者のGPT群でRoBERTaとFLANの組み合わせが正解率98.73％、MCC 0.975、後者のFLAN群で99.45％、0.989だった。いずれも表の条件別の値であり、全条件の代表値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内で受け付ける寄稿文を、担当者が確認する順番を決める際の参考情報として分類する。入力は寄稿本文、出力は「人間執筆」「AI生成」の暫定判定とし、担当者が原文と出所の記録を見て最終判断する。
適用には、対象業務で出所を確認できる人間執筆文とAI生成文、および各文の二値ラベルが必要になる。センサーは使わず、文章だけを入力する。社内の文体や文章の長さに合わせて分類器を調整し、この用途で判定が役立つかを別途確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務から出所を確認できる人間執筆文とAI生成文を集め、各文に二値ラベルを付ける。入力は文章だけで、センサーは不要。まず単一モデルの特徴を使う分類器を基準にし、RoBERTaとFLANの特徴を融合する構成と比べる。
業務文書に合わせて分類器を調整した後、学習に使っていない文章で正解率、MCC、人間執筆文をAI生成と誤判定した割合を測る。文章の長さや題材別にも内訳を確認し、担当者による原文確認の手掛かりとして使えるか判断する。
限界と課題
著者らが報告する制約は、特徴を追加しても性能が必ず改善するわけではない点である。自己回帰型モデルの特徴を加え、正解率とMCCが下がる場合を示している。また、最良とするモデル種別の組み合わせについて、導入部と結果節・結論の記述が食い違う。
編集上の検証事項は、学習用と評価用の文章の分け方、同じ題材に由来する文章の混入防止、未知の生成モデルや日本語の業務文書での性能である。確認できた本文の範囲では、これらの条件を十分に判断できないため、掲載された数値を社内文書へそのまま当てはめられない。
出典
元のタイトル・要旨を確認する（英語）
Enhancing Authorship Attribution through Embedding Fusion: A Novel Approach with Masked and Encoder-Decoder Language Models
The increasing prevalence of AI-generated content alongside human-written text underscores the need for reliable discrimination methods. To address this challenge, we propose a novel framework with textual embeddings from Pre-trained Language Models (PLMs) to distinguish AI-generated and human-authored text. Our approach utilizes Embedding Fusion to integrate semantic information from multiple Language Models, harnessing their complementary strengths to enhance performance. Through extensive evaluation across publicly available diverse datasets, our proposed approach demonstrates strong performance, achieving classification accuracy greater than 96% and a Matthews Correlation Coefficient (MCC) greater than 0.93. This evaluation is conducted on a balanced dataset of texts generated from five well-known Large Language Models (LLMs), highlighting the effectiveness and robustness of our novel methodology.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01