アーカイブ / LLM
意味構造を加えると含意判定はどう変わるか：MNLIとHANSでの検証
AMR-Augmented Natural Language Inference
概要
- BERT-baseの追加学習では、AMRを加えた条件は文章のみの再現結果を上回らなかった。
- GPT-4oのゼロショットで文章とAMRを併用すると、正答率はMNLIで0.91から0.75に下がり、HANSで0.82から0.87に上がった。
- 著者らはHANSでの上昇について、文面の違いが強調され、非含意予測が増えたことが一因だと分析した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AMR-Augmented Natural Language Inferenceの仕組み
- 01前提文と仮説文
- 02両文をAMR解析
- 03文章とAMRを入力
- 04含意関係を判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
自然言語推論は、前提の文が正しいとき、別の文である仮説が言えるかを判定する課題だ。仮説も正しければ「含意」、誤りなら「矛盾」、判断できなければ「中立」とする。
語句の重なりだけを手掛かりにすると、初めて見る文の組み合わせで誤ることがある。著者らは、文の意味を図で表す抽象意味表現（AMR）を加え、こうした判定が改善するか調べた。
手法
AMRは、出来事とその参加者などの関係を図として記す形式である。著者らはMNLIとHANSの文をAMR解析器に通した。例えば「真剣な選手たちが秘書たちを紹介した」が前提なら、「選手たちが秘書たちを紹介した」という仮説は含意になる。
追加学習では、BERT-baseに文章とAMRの文字列を連結する方法、文章の表現にAMRの図から得た表現を連結する方法、AMR文字列だけを使う方法を試した。別にGPT-4oへ文章だけ、AMRだけ、両方を提示し、例を示さないゼロショットと五例を示す条件で判定させた。
新規性
著者らは、文の意味構造を表すAMRを、BERT-baseの追加学習とGPT-4oへの提示という二つの方法で検証した。文章だけ、AMRだけ、両者の併用を比べ、正答率に加えて判定の偏りを分析している。
HANSで見られた正答率の上昇については、意味理解が深まった成果とは解釈していない。著者らは、AMRが文面の小さな違いを強調し、非含意の予測を増やしたことが一因だと分析した。
従来手法との違い
基準は、前提と仮説の文章だけで判定する条件である。BERT-baseの追加学習では、AMRを文字列として文章に足す条件、図の表現を文章の表現に足す条件、AMR文字列だけを使う条件を比べた。
GPT-4oでは文章だけ、AMRだけ、両方を提示した。著者らの実験では、追加学習でAMRを加えてもMNLIとHANSの正答率は改善しなかった。ゼロショット提示では、併用によってMNLIは低下し、HANSは上昇した。
実験結果
著者らはMNLIの約29万7千文対を学習に使い、約1万文対のmatched開発セットで評価した。HANSは3万例で、評価時には「矛盾」と「中立」の予測を「非含意」にまとめた。追加学習の正答率は、乱数の種を変えた10回の平均である。
BERT-baseの文章のみの正答率はMNLI 0.84、HANS 0.52で、AMR文字列を足すと0.83、0.47だった。GPT-4oのゼロショットでは文章のみが0.91、0.82、併用が0.75、0.87だった。著者らはHANSでの上昇を、非含意予測の増加と併せて解釈している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：英語の社内規程から作った回答文を、担当者が確認する際の振り分けに使う。規程の一文を前提、回答候補を仮説として入力し、含意・非含意の判定と確認対象の一覧を出力する。
入力源には英語の規程本文と回答候補が必要で、効果を測るには担当者が正解を付けた文対も要る。センサーは使わない。AMRを試す場合は両文を解析器に通す必要があり、業務文書への適用結果は仮説として検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：英語の社内規程から前提文と回答候補文を集め、担当者が含意・非含意の正解ラベルを付けた評価集合を作る。ゼロショット比較なら学習用文対は不要だが、入力文と評価用ラベルは必要である。センサーは使わない。
同じ文対を文章のみとAMR併用で判定し、正答率と、正しい回答を非含意として退けた件数を比べる。AMR解析器を対象文書に適用し、解析が崩れた例も記録する。追加学習まで試す場合は、評価用とは別にラベル付き学習文対を用意する。
限界と課題
著者らが明記した制約は、対象がMNLIとHANSの二つで、追加学習時のAMRの文字列化が一方式、提示文の型が一種類であることだ。別の業務分野や提示方法にも結果が当てはまるとは示されていない。
編集上の検証事項は、規程の言い換えでも非含意を過剰に選ばないか、AMR解析の誤りが判定にどう響くかである。また、本文の表ではAMRだけを用いたBERT-baseのMNLI正答率が0.74だが、説明文には84%とあり、この値は食い違っている。
出典
元のタイトル・要旨を確認する（英語）
When Does Meaning Backfire? Investigating the Role of AMRs in NLI
Natural Language Inference (NLI) relies heavily on adequately parsing the semantic content of the premise and hypothesis. In this work, we investigate whether adding semantic information in the form of an Abstract Meaning Representation (AMR) helps pretrained language models better generalize in NLI. Our experiments integrating AMR into NLI in both fine-tuning and prompting settings show that the presence of AMR in fine-tuning hinders model generalization while prompting with AMR leads to slight gains in GPT-4o. However, an ablation study reveals that the improvement comes from amplifying surface-level differences rather than aiding semantic reasoning. This amplification can mislead models to predict non-entailment even when the core meaning is preserved.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01