アーカイブ / LLM
文書が生成文に与える確率を比べて群分けするGenerative Clustering
Generative Clustering (GC)
Generative Clustering (GC)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Performance of GC on the four datasets (columns) with varying (a-d) α \alpha values or (e-h) J J values. Different colors represent different clustering evaluation metrics, with error bars indicating the 95% confidence interval, based on 100 repeated experiments. Error bars for some α \alpha and J J values are too small to be visible.
概要
- GCは文書を生成テキストへの確率分布で表し、その違いから群分けする。
- 著者らが報告したACCはR2で96.1、R5で79.1、AG Newsで85.9、Yahoo! Answersで60.7だった。
- 社内記録への適用は未検証であり、既存の群分け法との比較と結果の安定性確認が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Generative Clustering (GC)の仕組み
- 01文書群
- 02生成文を標本化
- 03生成確率と重み
- 04群割当と代表更新
- 05群ID
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
GCは、文書から生成したテキストへの確率を手掛かりに、文書を群に分ける方法である。大量の文書から関連するものを探す際、何を「近い文書」とみなすかで、得られる群が変わる。
従来は文書を数値列に変換して比較する方法が一般的だった。著者らは、短い文書には明記されない内容もあるという問題意識から、大規模言語モデルが文書に応じて各テキストへ与える生成確率を使う。
手法
文書群と群の数、言語モデルを入力し、まず文書から生成文を標本として集める。実験では事前学習済みのdoc2queryに文書を渡し、問い合わせ文のようなテキストを生成した。続いて、各文書から各標本文が生成される確率を計算する。例えば、二つの文書が同じ標本文に似た確率を与えれば、群分けを判断する材料になる。
群の代表も生成文への確率分布として表し、文書の分布との差をKLダイバージェンスという分布の違いの尺度で測る。全ての生成文は調べられないため、共有した標本に重みを付ける「重要度サンプリング」で距離を推定する。確率の極端な値を抑えた後、近い群への割り当てと群の代表の更新を、距離の合計が改善する間繰り返す。
新規性
GCは、各文書を固定長の数値列ではなく、生成され得るテキストへの確率分布で表す。文書と群の代表分布の違いをKLダイバージェンスで定義する点が、提案の中心である。
生成可能なテキストは無数にあるため、文書間で共有する標本から距離を推定する。著者らは、その推定を使って文書の割り当てと群の代表の更新を繰り返すアルゴリズムを示した。
従来手法との違い
比較対象には、文書を単語の出現数やBERT系モデルの数値列で表し、k-meansで群分けする方法がある。論文は、生成文を数値列に変換して平均する方法も従来型の解法として説明する。
実験表には、GCと同じdoc2queryモデルのエンコーダー出力や、生成確率の対数値をk-meansに使う比較もある。GCは生成確率から距離を推定するが、表の差だけで、生成モデルを使う全ての方法に優るとは言えない。
実験結果
著者らはR2、R5、AG News、Yahoo! Answersで文書群の正解ラベルとの一致を評価した。R2とR5では複数の話題が付いた文書を除き、後二者では学習用とテスト用を統合した。指標は群と正解ラベルを対応付けた正解率（ACC）、情報の一致度（NMI）、偶然の一致を補正した一致度（ARI）である。
GCのACCはこの順に96.1、79.1、85.9、60.7だった。R2の比較対象all-distilroberta-v1とk-meansは92.0である。著者らは標本数1024、重みの係数0.25を基本とし、異なる初期値で10回実行して距離が最小の結果を選ぶ手順を100回繰り返し、その平均を報告した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の問い合わせ記録を、似た相談を探すための群にまとめる。入力は利用権限を確認した記録本文、出力は各記録の群IDと、群から開ける記録一覧とする。担当者は新しい相談に近い群を探し、原文を確認する。
必要な元データは記録本文で、評価には担当者が付けた相談種別のラベルを別途用意する。センサーは使わない。既存の事前学習済みモデルを記録に適用し、相談特有の語句で生成文と群分けが妥当か確認する応用仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：権限を確認した少量の問い合わせ記録本文を集め、既存の相談種別ラベルを評価用に確保する。入力は本文のみで、センサーは不要である。記録を整形し、事前学習済みモデルから生成文と確率を得て群IDを出す。
同じ記録を文書の数値列表現とk-meansでも群分けし、ラベルに対するACC・NMI・ARIを比べる。初期値や標本数を変えたときの結果の揺れも測る。追加学習を試すなら、必要な記録とラベルを別に定め、元の設定から何を変更したか記録する。
限界と課題
著者らは、重要度サンプリングでは標本を取る分布が不適切だと距離の推定値が不安定になり得ると説明する。また、重みの調整係数を1未満にすると推定に偏りが生じる。確率値のクリッピングなどは、その問題に対して採用した手順である。
編集上の検証事項は、対象文書から生成される文が内容を適切に表すか、標本数や係数を変えても群分けが安定するか、処理量が許容できるかである。社内の問い合わせ記録での効果は、確認できた本文の範囲では報告されていない。
出典
元のタイトル・要旨を確認する（英語）
Information-Theoretic Generative Clustering of Documents
We present {\em generative clustering} (GC) for clustering a set of documents, $\mathrm{X}$, by using texts $\mathrm{Y}$ generated by large language models (LLMs) instead of by clustering the original documents $\mathrm{X}$. Because LLMs provide probability distributions, the similarity between two documents can be rigorously defined in an information-theoretic manner by the KL divergence. We also propose a natural, novel clustering algorithm by using importance sampling. We show that GC achieves the state-of-the-art performance, outperforming any previous clustering method often by a large margin. Furthermore, we show an application to generative document retrieval in which documents are indexed via hierarchical clustering and our method improves the retrieval accuracy.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01