アーカイブ / LLM
少数例で関係を追加学習する際、言語モデルの出力部を活用する
Mutual Information Maximization
Mutual Information Maximizationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3: Our Framework
概要
- 事前学習済みのLMヘッドを残し、主分類器との内部表現の対応を学習して、少数例で関係を追加する。
- 著者らの８課題後の評価では、CPLの正解率がFewRelで64.50％から66.27％、TACREDで57.39％から59.48％になった。
- 実験は文中の対象が指定済みの条件。実務では対象の指定方法と、既存関係の正解率低下を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Mutual Information Maximizationの仕組み
- 01対象を指定した文
- 02二つの枝で表現
- 03表現を照合して学習
- 04関係ラベル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、文中で指定された二つの対象の関係を、少数の例から順に学習する。新しい種類の関係を追加しても、以前に学んだ関係を判別し続ける必要がある。この設定を少数例の継続的関係抽出と呼ぶ。
追加学習の文が少ないと、その文だけに合わせすぎる過学習や、以前の関係を判別できなくなる「破滅的忘却」が問題になる。著者らは、関係分類用にモデルを調整する間に、事前学習で得た幅広い知識も損なわれうると指摘する。
手法
入力は、二つの対象と正解の関係を指定した文である。例えば「AはBに勤務する」という文なら、AとBの位置と「勤務先」というラベルを与える。モデルには関係を選ぶ主分類器に加え、事前学習時に単語の予測に使ったLMヘッドという出力部を残す。判定時には主分類器が関係ラベルを出す。
学習時は、同じ文から両方の枝が作る内部表現の対応を強め、ほかの文の表現との対応から区別する。著者らは、二つの表現が共有する情報を増やす「相互情報量最大化」を、InfoNCEという比較に基づく計算で学習目標にした。この損失を元の手法の損失に足し、LMヘッドの表現を主分類器の学習に役立てる。
新規性
著者らの提案は、関係分類では通常取り外す事前学習済みのLMヘッドを残し、主分類器の学習に役立てる点にある。両枝の内部表現が共有する情報を増やす損失を、既存手法の学習目標に加える。
SCKD、ConPL、CPLの三手法に組み込み、BERTに加えてLlama2-7BとMistral-7Bでも検討した。新しい関係を覚える間、以前の関係と事前学習で得た知識を保つ狙いである。
従来手法との違い
比較対象は、事前学習済みモデルを基盤に、関係を判定する分類器を学習するSCKD、ConPL、CPLである。著者らは各手法に提案する損失を追加し、追加前後の正解率を比較した。ConPLの比較値は、この論文の評価設定に合わせて再現している。
基盤モデルをBERTからLlama2-7BまたはMistral-7Bに替えた実験もある。ただし手法の追加と基盤モデルの変更は異なる条件であり、表にある組み合わせの結果を、LLM一般の優位性として扱うことはできない。
実験結果
著者らはFewRelで１課題につき10種類の関係を各５例、TACREDで５種類を各５例使い、８課題を順に学習した後の正解率を報告した。CPLはFewRelで64.50％から66.27％、TACREDで57.39％から59.48％になった。いずれも同じCPLへの提案手法の追加前後である。
SCKDとConPLも比較し、以前の関係に関する正解率の低下や、訓練時とテスト時の損失差も調べた。ただし、掲載表には一部の条件で数値の食い違いがあるため、ここでは一致を確認できるCPLの最終正解率に絞った。業務文書での精度は、この評価からは分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の製品説明文で、指定した製品名と部品名の関係を分類する。例えば「製品Aは部品Bを搭載する」という文と二つの対象位置を入力し、担当者が定義した「搭載部品」などの関係ラベルを出力して確認に回す。
既存・新規の関係を定義したラベル付き文、文中の対象位置、過去の評価用文が必要で、画像や音声のセンサーは使わない。新製品の関係を追加するときに少数の確認済み文で再学習する想定だが、対象名の検出は別工程として用意する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：製品名と部品名の位置を人手で指定した社内文を集め、既存の関係と後から追加する関係にラベルを付ける。各関係の少数の学習例と、学習に使わない評価用文を分け、追加順序を固定する。文字情報を使うためセンサーは不要で、対象名の検出が必要なら別に検証する。
同じ基盤モデル、文、追加順序で、元の分類手法とLMヘッドを使う方法を比べる。各段階で既存・新規の関係別の正解率を記録し、最後に以前の関係の低下幅を測る。対象位置の指定ミスと関係判定の誤りは分けて集計する。
限界と課題
著者らが明記する制約は、文中の二つの対象があらかじめ与えられる関係抽出だけを扱った点である。対象の検出から関係判定までを通した性能は示していない。また、事前学習データに由来する性別、人種、文化に関する偏りが、少数のラベル付きデータの条件で強まる可能性を挙げている。
編集上の検証事項は、業務文で対象位置を正しく指定できるか、関係の追加順序や曖昧な文で結果が変わるかである。LMヘッドを固定した実験では、学習段階によって正解率の増減が混在しており、固定が一律に有利とはいえない。
出典
元のタイトル・要旨を確認する（英語）
Preserving Generalization of Language models in Few-shot Continual Relation Extraction
Few-shot Continual Relations Extraction (FCRE) is an emerging and dynamic area of study where models can sequentially integrate knowledge from new relations with limited labeled data while circumventing catastrophic forgetting and preserving prior knowledge from pre-trained backbones. In this work, we introduce a novel method that leverages often-discarded language model heads. By employing these components via a mutual information maximization strategy, our approach helps maintain prior knowledge from the pre-trained backbone and strategically aligns the primary classification head, thereby enhancing model performance. Furthermore, we explore the potential of Large Language Models (LLMs), renowned for their wealth of knowledge, in addressing FCRE challenges. Our comprehensive experimental results underscore the efficacy of the proposed method and offer valuable insights for future work.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01