アーカイブ / LLM
事象と関係を指定して相手を探すMAQInstruct：質問数と回答順序への対処
MAQInstruct
MAQInstructの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2. Cross-entropy loss vs bipartite matching loss.
概要
- 関係と一つの事象を指定して相手事象を複数選び、質問数をn×nからk×nに減らす設計である。
- MAVEN-EREの共参照関係では質問数17,780、推論時間25分で、比較したInstructEREは631,486、813分だった。
- 社内報告への適用には事象位置と関係の正解ラベルを用意し、精度、質問数、人手の修正負担を別途確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MAQInstructの仕組み
- 01事象に印を付けた文書
- 02関係と事象を指定
- 03相手事象を複数選択
- 04関係付き事象群
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MAQInstructは、文章中の出来事どうしの関係を取り出す手法である。同じ出来事を指す「共参照」、前後関係、因果関係、出来事とその一部の関係を扱う。報告文から経緯をたどるには、個々の出来事だけでなく、そのつながりが必要になる。
従来の指示形式では事象を二つずつ組み合わせて尋ねるため、候補が増えると質問数が増す。著者らは、複数の正解を生成する順番が学習に影響する点も課題に挙げる。
手法
文書内の候補事象に順番の印を付け、関係の種類と一つの事象を指定した質問を作る。例えば「停止」「再起動」「復旧」が候補なら、「停止」と「因果関係」を指定し、結び付く相手を文書内から選ばせる。出力には複数の答えを並べられ、該当事象がなければ「none」とする。どれが正解かは文書と正解ラベルによって決まる。
学習時の出力は、文の語句のつながりをたどる「依存構造の連鎖」と、複数の答えをコロンで分ける。答えには二部マッチング損失を加える。これは予測と正解の対応を、出現順に固定せず最も合う組み合わせで決めて誤差を計算する方法で、通常の生成誤差と合わせて学習する。
新規性
著者らの提案は、事象のペアごとに関係を尋ねる形式を、関係と一つの事象を指定して相手事象を複数選ぶ形式に変えた点にある。候補事象数をn、関係の種類数をkとすると、作成する質問数はn×nからk×nになる。
さらに、複数の正解を生成する順番への依存を減らすため、回答と正解を最適に対応付ける二部マッチング損失を加える。質問の作り方と学習時の誤差計算を一体で見直した手法である。
従来手法との違い
比較対象のInstructEREは、候補事象のペアと関係一覧を指示に入れ、該当する関係を生成する。MAQInstructは関係を先に指定し、一つの事象に結び付く相手を選ぶ。著者らは、この違いによって学習・推論用の質問数が減ると説明する。
別方式のBertEREは文書全体を読み、事象ペアの関係を分類する。MAVEN-EREの比較では、MAQInstructの質問数と推論時間はInstructEREより少ないが、推論時間はBertEREより長い。BertEREとの時間差にはモデル規模の違いも関わる。
実験結果
著者らはMAVEN-EREで統合的な事象関係抽出を評価し、HiEve、MATRES、MECIも実験に用いた。MAVEN-EREでLlama2を基盤とするMAQInstructの時間・因果・下位事象関係のF1は順に53.8、32.5、25.2で、InstructEREは49.7、28.3、21.3だった。F1は適合率と再現率を合わせた指標である。
共参照関係の推論では、710文書・17,780事象に対する質問数がMAQInstructで17,780、InstructEREで631,486だった。同じLlama2を使い、バッチサイズと系列長をそろえ、A100-80Gで測った時間は25分と813分だったと著者らは報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の障害報告で、原因となった出来事と影響を受けた出来事の対応表を作る。入力は報告本文と事象の位置、出力は「因果関係」で結んだ事象の組とし、担当者が原文を見て承認する。この用途での性能は論文では検証されていない。
試行には、社内報告を学習用に集め、事象の位置と因果関係の正解ラベルを付ける必要がある。入力は文章なので追加センサーは想定しない。社内での「原因」の定義に合わせて質問文とラベル付けの基準を調整する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：少数の障害報告を集め、本文中の事象位置と因果関係の正解ラベルを担当者が付ける。必要な学習データは文章とこれらのラベルで、追加センサーは想定しない。社内の関係定義に合わせて質問文を調整し、学習用と評価用の文書を分ける。
同じ正解ラベルを使う事象ペア方式を比較対象に置く。評価用文書で因果関係のF1、文書当たりの質問数、推論時間、人手で修正した件数を測る。原因と結果を逆に結ぶ誤りも数え、承認作業を含めて使えるか判断する。
限界と課題
著者らは、MAQInstructの推論がBertEREより長いと報告する。また、MAVEN-EREでの構成要素を外す実験は費用を理由に行わず、MATRESとMECIで実施した。したがって、各要素の寄与をMAVEN-EREでも同じ数値で見込むことはできない。
編集上の検証事項は、社内文書で事象の位置を安定して示せるか、因果関係の基準を担当者間でそろえられるか、誤った対応を承認前に見つけられるかである。確認できた本文の範囲では、社内文書での精度や人手の修正負担は分からない。
出典
元のタイトル・要旨を確認する（英語）
MAQInstruct: Instruction-based Unified Event Relation Extraction
Extracting event relations that deviate from known schemas has proven challenging for previous methods based on multi-class classification, MASK prediction, or prototype matching. Recent advancements in large language models have shown impressive performance through instruction tuning. Nevertheless, in the task of event relation extraction, instruction-based methods face several challenges: there are a vast number of inference samples, and the relations between events are non-sequential. To tackle these challenges, we present an improved instruction-based event relation extraction framework named MAQInstruct. Firstly, we transform the task from extracting event relations using given event-event instructions to selecting events using given event-relation instructions, which reduces the number of samples required for inference. Then, by incorporating a bipartite matching loss, we reduce the dependency of the instruction-based method on the generation sequence. Our experimental results demonstrate that MAQInstruct significantly improves the performance of event relation extraction across multiple LLMs.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01