アーカイブ / LLM
仮説とその否定を照合し、論理質問の「不明」を再確認するCGD-PD
CGD-PD
CGD-PDの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Validation accuracy on FOLIO (FOL fields). CGD-PD improves accuracy on both GPT-5.2 and Claude Sonnet 4.5.
概要
- CGD-PDは仮説とその否定を判定し、真・偽・不明の対応関係を最終判断に反映する。
- 著者のFOLIO検証分割204例では、Singleと比べて両モデルの正解率が上がり、不明回答率が下がった。
- 社内規程への応用には、原文の論理式化と正解ラベルの準備、引用根拠と誤判定の確認が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CGD-PDの仕組み
- 01前提式と仮説式
- 02正反を三値判定
- 03不明時に追加照会
- 04矛盾時に調停
- 05最終ラベル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CGD-PDは、与えられた前提から仮説が成り立つかを真・偽・不明で答える課題を扱う。不明は、仮説もその否定も前提から導けない状態を指す。ただし、言語モデルが判断に迷った結果、答えられる問いにも不明と返す場合がある。
この二種類の不明を混同すると、前提から判断できる事例を見逃す。仮説とその否定の両方に真と答えるような食い違いも起こり得る。判断根拠を点検するには、正反の問いへの回答が整合するかを確かめる必要がある。
手法
入力は前提と仮説の論理式である。同じ言語モデルに仮説と、機械的に否定した仮説を別々に尋ね、真・偽・不明を得る。例えば前提から「Aは対象」が導けるなら、「Aは対象でない」は偽になる。両回答がこの対応に合い、真偽を示していれば、その判断を返す。
不明が出た側には、真偽を支える前提の引用を求める。両側とも不明のままなら、それぞれが前提から導けるかをYes・Noで尋ねる。片側だけYesなら真偽を決め、それ以外は不明を保つ。真偽の回答同士が食い違う場合は、調停用の問いで整合する判断を選ぶ。
新規性
CGD-PDは、仮説とその否定への回答を一組として扱い、真と偽は入れ替わり、不明は不明のままという対応を最終判断の制約にする。正反の問いで生じた食い違いを、推論時に検出して扱う点が中心である。
不明の場合には根拠を求め、必要に応じて二択の含意照会を行う。含意とは、前提から結論が必ず成り立つ関係を指す。追加学習や外部の論理ソルバーを使わず、既存モデルへの照会と回答の組み合わせで判断する提案である。
従来手法との違い
主な比較対象のSingleは、前提と仮説をモデルに一度だけ渡して真・偽・不明を得る方式である。CGD-PDは否定した仮説にも尋ねるため、最初に二回呼び出す。不明や回答間の食い違いがあれば、さらに照会する。
Singleの一回の回答からは、否定側への回答との整合性を確認できない。論文には開発段階の別方式も記載されるが、主結果の表はSingleとの比較である。ほかの推論手法全般に対する優位性を示した結果ではない。
実験結果
著者は、FOLIOの一階述語論理式の欄を使った検証分割204例で、GPT-5.2とClaude Sonnet 4.5を評価した。一階述語論理は、対象とその性質や関係を記号で表す形式である。温度は0とし、主な比較対象を一回だけ判定するSingleとした。
表では正解率がGPT-5.2で63.7%から68.1%、Claudeで42.2%から49.0%になった。不明回答率はそれぞれ57.4%から53.9%、75.5%から58.8%に下がり、CGD-PDの平均呼び出し回数は4.36回と4.91回だった。Claudeの改善幅は本文と要旨で6.8点、別の本文箇所で6.9点と食い違うため、表の前後値を示した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程の条文を使い、申請が対象になるかを判定する際の根拠不足を点検する。入力は担当者が矛盾を確認して論理式に直した規程と判定文、出力は真・偽・不明のラベルと追加照会で示された根拠の記録とする。
規程原文から論理式への変換と、仮説の定式化が必要な適応作業である。追加学習用データやセンサーは想定しない。検証には担当者が付けた正解ラベルと根拠を用意する。この業務での改善効果は論文では確かめられていない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：短い社内規程を選び、担当者が条文と判定文を論理式に直す。前提の矛盾も確認し、各問いに真・偽・不明の正解ラベルと根拠を付ける。必要な元データは規程と判定文で、追加学習用データやセンサーは想定しない。
同じ論理式を単発の三値判定とCGD-PDに入力する。正解率、本来不明の問いを真偽と誤判定した割合、正反の回答の食い違い、呼び出し回数を記録する。引用された根拠は担当者が原文と照合し、誤判定の変化と追加照会の負担を確認する。
限界と課題
著者は、扱う論理関係が否定に限られ、CGD-PDは完全な論理ソルバーではないと述べる。前提から真偽を決められない例でも、二択の含意照会が誤って断定する恐れがある。また、単発判定よりモデルの呼び出し回数が増える。
編集上の検証事項は、規程を論理式に直しても意味が保たれるか、前提同士が矛盾しないか、引用された条文が結論を実際に支えるかである。報告された結果はFOLIOの検証分割に限られ、自然文の業務文書に適用したときの精度は未確認である。
出典
元のタイトル・要旨を確認する（英語）
Compositional Consistency-Guided Decoding for Three-Way Logical Question Answering
Three-way logical question answering (QA) assigns one of $\text{True}$, $\text{False}$, or $\text{Unknown}$ to a hypothesis $H$ given a premise set $S$. We study this task as a compact compositional inference problem: predictions for $H$ and for a mechanically negated hypothesis $\neg H$ should agree under a deterministic negation map. Despite this simple structure, large language models (LLMs) can exhibit two practical failure modes: (i) negation inconsistency, where answers to $H$ and $\neg H$ violate the required label mapping, and (ii) epistemic $\text{Unknown}$, where the model abstains even when one side is entailed. We introduce CGD-PD, a lightweight, training-free test-time layer that combines neural 3-way classification, symbolic negation-consistency projection, and targeted binary entailment probes. On one validation split of FOLIO's first-order logic fields, CGD-PD improves accuracy by 4.4 points on GPT-5.2 and 6.8 points on Claude Sonnet 4.5, while reducing $\text{Unknown}$ predictions and epistemic abstention. These results provide a controlled proof of concept that simple logical composition at inference time can help evaluate and improve LLM reasoning reliability; they do not, by themselves, establish robustness beyond this formal benchmark setting.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01