表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

正解ラベルなしで、文章とつながりを持つ項目を分類する

Zero-shot Prompt Tuning

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Zero-shot Prompt Tuningの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1 . Illustration of different prompt learning techniques. The frozen symbol indicates the parameters are frozen; the fire symbol indicates that the parameters are tuned.

出典:Zero-shot Prompt Tuning / arXiv ↗

概要

  • 正解ラベルを使わず、分類先の名前から合成例を作ってプロンプトを調整する。
  • 合成例には、項目間のつながりと項目の文章の両方を数値化した表現を使う。
  • 著者らは四つのベンチマークで優位を報告するが、確認できた本文には点数がない。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Zero-shot Prompt Tuningの仕組み

左から右へ読む
  1. 01未分類の文書と引用関係
  2. 02文書と関係を数値化
  3. 03主題名から合成例を生成
  4. 04文書の分類を出力

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

ZPTは、文章と他項目へのつながりを持つ対象を、正解ラベルなしで分類する方法だ。論文では、論文を一つの点、引用関係を線として表すような「テキスト属性付きグラフ」を扱う。分類したい主題が新しく増えると、学習用の正解例をすぐには用意できない。

分類先の名前だけで判定する方法はあるが、手で作る問いかけ文の表現に左右される。ZPTは、分類先の実例がないまま、問いかけに相当する数値を調整する手順を示す。

手法

最初に、項目同士のつながりと各項目の文章を、一緒に扱える数値表現へ変換するモデルを学ぶ。次にUBCGという条件付き生成器を、実際の項目の文章から関係側の数値を作り、逆向きにも作るよう学習する。数値表現とは、似た内容が近い位置になるよう情報を並べたもので、ここでは文章とつながりの両方を表す。

分類時には、例えば「理論」という主題名から、その主題らしい関係側の数値を作り、続いて文章側の数値を作る。この合成例で、連続プロンプトという学習可能な数値列を調整する。調整後のモデルは、実際の未分類項目に主題名のいずれかを割り当てる。

新規性

ZPTの主張は、分類先の名前だけが分かる場面でも、学習できるプロンプトを調整できることだ。分類済みの実例や、それを推測して付けた疑似ラベルを、生成器の学習に使わない。

生成器は、項目のつながりを表す数値と文章を表す数値の両方を作る。分類先が後から増えても、生成器を毎回学習し直さずに、その名前から分類用の例を作る設計になっている。

従来手法との違い

既存のゼロショット手法として論文が挙げるG2P2とHoundは、分類先の名前を手作業の文型に入れて判定する。学習可能なプロンプトへ調整するには、通常は分類済みの例が少なくとも必要になる。

ZPTは名前から作った数値上の合成例でプロンプトを調整する。未分類の実項目に先に疑似ラベルを付ける案について、著者らは誤ラベルが調整時に増幅され得ると指摘する。ただし合成例の質も分類先の名前に依存する。

実験結果

著者らは四つのベンチマークで既存手法との比較を行い、ZPTが比較対象を上回ったと報告する。文章側とつながり側の両方を作る生成器の寄与を調べる要素別の実験も行ったとしている。

確認できた本文の範囲では、評価に使ったデータセット名、指標の定義、方式別の点数は示されていない。分類済みの実例を使わず、分類先の名前のみを受け取るという設定は確認できるが、結果の差の大きさや再現時の条件を数字で説明することはできない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:社内の技術文書を、後から追加された主題名で整理する。入力は文書の題名と概要、文書間の引用や参照のつながり、そして「機械学習」「理論」など分類先の名前。出力は文書ごとの候補分類とする。

まず分類を自動で付け、担当者が新しい主題に入った文書を確認する。新分類の正解例をまだ集めていない段階の仮整理に使い、人の確定結果を次の評価用に保存する。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:題名と概要、引用や参照の線がある小規模な文書集合を用意し、評価用の正解分類だけを人が付ける。モデルの学習と調整にはその正解を渡さず、主題名だけから分類させる。

比較基準は、主題名をそのまま使う論文中の離散プロンプト方式とする。正解分類との一致率を全体と新しい主題ごとに測り、文章とつながりの両方を使う場合と片方だけの場合の差も確認する。

限界と課題

確認できた本文の範囲では、四つのベンチマークで比較と要素別の検証を行ったことは分かるが、データセット名、各方式の数値、統計的なばらつきは確認できない。したがって、改善幅や特定の業務分野での精度は示せない。

編集上の確認点は、分類名だけで内容が伝わるか、文章の短い項目やつながりの少ない項目でも合成例が役立つかだ。分類先の定義が重なる場合や、社内文書の参照関係が不完全な場合も別に確かめたい。

技術
応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Prompt Tuning without Labeled Samples for Zero-Shot Node Classification in Text-Attributed Graphs

Node classification is a fundamental problem in information retrieval with many real-world applications, such as community detection in social networks, grouping articles published online and product categorization in e-commerce. Zero-shot node classification in text-attributed graphs (TAGs) presents a significant challenge, particularly due to the absence of labeled data. In this paper, we propose a novel Zero-shot Prompt Tuning (ZPT) framework to address this problem by leveraging a Universal Bimodal Conditional Generator (UBCG). Our approach begins with pre-training a graph-language model to capture both the graph structure and the associated textual descriptions of each node. Following this, a conditional generative model is trained to learn the joint distribution of nodes in both graph and text modalities, enabling the generation of synthetic samples for each class based solely on the class name. These synthetic node and text embeddings are subsequently used to perform continuous prompt tuning, facilitating effective node classification in a zero-shot setting. Furthermore, we conduct extensive experiments on multiple benchmark datasets, demonstrating that our framework performs better than existing state-of-the-art baselines. We also provide ablation studies to validate the contribution of the bimodal generator. The code is provided at: https://github.com/Sethup123/ZPT.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-09-29