アーカイブ / LLM
主張と根拠の対応をたどって判定するZero-NatVer
Zero-NatVer
概要
- 主張を短く分けて根拠文に対応付け、意味関係を規則に通して支持・反証・根拠不足を判定する。
- 著者らの英語４データセットでのゼロショット一般化では、平均正解率59.93％で、同じモデルを使うQA-NatVerを平均8.96ポイント上回った。
- 社内規程への応用では、判定の正しさに加え、選んだ条文と表示した対応箇所を人が検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Zero-NatVerの仕組み
- 01主張と根拠文
- 02主張を分割
- 03根拠に対応付け
- 04意味関係を付与
- 05規則で判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Zero-NatVerが扱うのは、確認したい文が根拠文から支持されるか、否定されるか、判断材料が足りないかを決める作業である。判定に至る根拠とのつながりが見えれば、人が結果を点検しやすくなる。
自然論理は、文中の表現同士の意味関係を順に組み合わせる推論方法だ。従来の方式には、その関係を並べた証明の訓練例が必要なものがある。新しい分野で証明例を用意する負担が課題となる。
手法
入力は確認したい主張と根拠文である。モデルは主張を個別に確かめられる短い部分に分け、各部分を根拠中の表現に対応付ける。例えば「規程は宿泊費を全額支給する」という主張なら、分けた表現と条文の該当箇所を探す。分割時は元の主張にない語を作れないよう生成を制限し、対応箇所も後処理で根拠中の語列にそろえる。
次に、対応する表現が同じ意味か、一方が他方を含むか、否定するかなどを「はい・いいえ」の質問で調べる。こうした意味関係を自然論理演算子と呼ぶ。対応付け時の説明から支持・反証の手掛かりを拾い、演算子の候補選びに使う。最後に演算子を有限状態機械という状態遷移の規則へ順に通し、支持・反証・根拠不足を判定する。
新規性
Zero-NatVerは、自然論理の証明を付けた訓練例を使わず、指示に従う大規模言語モデルで証明の手順を組み立てる。対応付けの説明から支持・反証の手掛かりを取り出し、短い表現だけでは決めにくい意味関係の候補選びに使う。
主張の分割と根拠との対応付けには、生成できる語を制限する処理を用いる。複数の質問による関係判定を集約し、最終判定は関係の列を規則に通して得る。
従来手法との違い
自然論理を使う比較対象はProoFVerとQA-NatVerで、Direct-QAは主張と根拠から判定を直接答える方式である。著者らは、自然論理の訓練例を使わない「ゼロショット一般化」と、FEVERで訓練した方式を別のデータセットへ適用する「ゼロショット転移」を分けて評価した。
英語４データセットの一般化では、Zero-NatVerの正解率は両自然論理方式をすべて上回った。Direct-QAとの比較ではSciFactとHoverで上回り、Climate-FEVERとPubHealthで下回る。方式間には使用モデルや訓練条件の違いもある。
実験結果
著者らは英語のClimate-FEVER、SciFact、PubHealth、Hoverと、デンマーク語・中国語・アラビア語・ロシア語／ウクライナ語のデータセットで評価した。指標は正解率とマクロF1で、後者は各判定クラスのF1を平均した値である。
英語４データセットのゼロショット一般化では、著者らは平均正解率59.93％、同じLlama3-8Bを使うQA-NatVerとの差を平均8.96ポイントと報告する。SciFactの正解率はZero-NatVerが58.33％、Direct-QAが57.00％、PubHealthではそれぞれ70.01％と78.18％だった。いずれも論文の評価条件での値である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。社内規程の更新確認で、「出張時の宿泊費は全額支給される」という主張と、担当者が選んだ現行規程の条文を入力する。支持・反証・根拠不足の判定に加え、主張の各部分と条文中の対応箇所を確認用に表示する。
元データは規程本文と確認対象の主張とし、検証用に担当者の正解ラベルと対応箇所の記録を用意する。追加センサーや自然論理の証明を付けた学習データは使わず、条文の抽出と表示を文書形式に合わせて調整する。効果はこの用途で確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。現行規程から短い主張と関連条文を集め、担当者が支持・反証・根拠不足の正解ラベルと該当箇所を記す。元データは規程本文と主張であり、追加センサーや自然論理の証明を付けた学習データは使わない。条文の抽出方法と文書固有の表現への調整を記録する。
同じ主張と条文を使い、直接判定を答える方式を比較基準にする。判定の正解率、表示した対応箇所が原文に存在する割合、担当者の確認時間を測る。根拠不足の誤判定と、条文選択の誤りも分けて調べる。
限界と課題
著者らは、根拠との対応箇所を生成する際、生成の制限だけでは根拠文にない語が残り、対応付けたチャンクの12.4％に少なくとも１語含まれたと報告する。そこで、根拠文中の連続した語列にならない部分を後処理で除いている。
編集上の検証事項は、選んだ根拠文が誤っている場合や、長い社内文書を扱う場合の判定である。実務では根拠を探す工程も必要になるため、提示された条文が適切か、対応箇所が原文に存在するかを別に確認したい。
出典
元のタイトル・要旨を確認する（英語）
Zero-Shot Fact Verification via Natural Logic and Large Language Models
The recent development of fact verification systems with natural logic has enhanced their explainability by aligning claims with evidence through set-theoretic operators, providing faithful justifications. Despite these advancements, such systems often rely on a large amount of training data annotated with natural logic. To address this issue, we propose a zero-shot method that utilizes the generalization capabilities of instruction-tuned large language models. To comprehensively assess the zero-shot capabilities of our method and other fact verification systems, we evaluate all models on both artificial and real-world claims, including multilingual datasets. We also compare our method against other fact verification systems in two setups. First, in the zero-shot generalization setup, we demonstrate that our approach outperforms other systems that were not specifically trained on natural logic data, achieving an average accuracy improvement of 8.96 points over the best-performing baseline. Second, in the zero-shot transfer setup, we show that current systems trained on natural logic data do not generalize well to other domains, and our method outperforms these systems across all datasets with real-world claims.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01