新着研究 / LLM
同じ論理でも言い換えると判断が変わる、LGMTが正解ラベルなしでLLMの不一致を検出
LGMT
LGMTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: The LGMT workflow. Five stages turn source test cases into paired queries: one of 20 MRs rewrites the logic, only the changed statements are realized in natural language, and both cases are queried and compared. The tool ships a 3,091-case benchmark (plus a 40-case demo subset) and targets any OpenAI-compatible model.
概要
- 前提と結論を論理的に等価な形へ変換し、LLMの判断がそろうかを検査する。
- 20種類の変換を内蔵し、独自の変換はZ3で等価性を確認できる。
- 3,091の変換グループで六つのLLMに20.84〜29.44%の不一致を報告する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LGMTの仕組み
- 01前提と結論の問題
- 02論理式を等価変換
- 03変化部分を文章化
- 04二つの回答を比較
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LGMTは、同じ論理問題を等価な形に変えたとき、LLMの答えが変わらないかを調べる道具である。ある一問に正解できても、前提の順番や論理的な表し方を変えただけで判断が逆転すれば、推論部品としての安定性には問題が残る。
通常のベンチマークは各問を個別の正解と比べるため、問い同士の矛盾を捉えにくい。この研究は正解ラベルがなくても分かる関係に注目し、論理を保った変換前後の回答を対として検査する。
手法
入力は自然言語と一階述語論理の対で保持する。一階述語論理は、対象、関係、全て・あるといった量化を明示する表現だ。ツールは文章の単語を無造作に変えるのでなく、論理式の構造へ変換を加え、変更した箇所だけを自然言語へ戻す。
元の問題と変換後の問題をモデルへ渡し、結論が真、偽、不明のどれかという判断が一致するかを見る。内蔵の変換は、式の等価変換、記号名の変更、前提の再構成、結論の書き換えの計20種類。独自の変換は定理証明器Z3で等価性を検査でき、結果から個別の不一致と根拠を追える。
新規性
貢献は、論理構造の変換、部分的な文章化、異なるモデルへの対の問い合わせ、結果の診断までを一つのツールへまとめた点だ。ユーザーの規則を検査に使い、独自の変換も追加できる。
このような関係を使う検査をメタモルフィックテストと呼ぶ。個々の問題の正解を知らなくても、等価な問題の答えが違えば少なくともどちらかに問題があると分かる。ただし両方が同じ誤答なら、この検査だけでは発見できない。
従来手法との違い
関連する論理問題の生成器は固定のひな型から問題を作るものがあり、一般の自然言語の変形は意味の保存が確かでない場合がある。LGMTは形式的な論理構造で変換し、変えた部分だけを文章へ反映する。
論理ソルバーへ解答を任せる方式とも目的が異なる。外部ソルバーが正解を計算できるかではなく、LLM自身が等価な問いに一貫して答えられるかを試す。CLI、ウェブ画面、APIキー不要の模擬動作も提供するとしている。
実験結果
付属の評価集合はFOLIO、LogicNLI、ProVerQAに由来する3,091の変換グループで、六つのLLMの不一致率は20.84〜29.44%だったと報告する。小さな実演用には40件の部分集合も用意する。
この不一致率は、独立の正解に対する全体の誤答率ではない。形式上の変換、文章化、応答の判定を通した対の差を測る値である。模擬モードの動作確認も、外部の実モデルが同じ性能を出すことの実証とは分ける必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案は、社内規則に基づく判定をLLMへ任せる前の品質検査である。承認条件の前提と結論を入力し、前提順や論理表現を変えた問題と、各モデルの判断差をレポートとして出力する。
担当者は不一致の対を読んで、否定の取り扱い、条件の結合、例外の見落としを調べる。検査で安定したから業務判断を無条件で自動化するのではなく、通常の正解付きテストに加える回帰検査として使う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、担当者が正解と論理式を確認できる少数の規則から始める。自然言語だけを自動翻訳した場合と、人が形式化した場合を分け、変換後の文章も意味が同じか点検する。
同じモデル版と生成条件で回答を複数回測り、変換による不一致と生成の揺れを区別する。不一致率、通常の正答率、問い合わせ費用、原因を特定する時間を記録し、更新時にどの変換で悪化したかを比較する。
限界と課題
論理式の等価性を確認しても、自然言語への翻訳が常に同じ意味を保つとは限らない。自然言語だけの入力ではLLMによる論理式への変換も入るため、対象モデルの推論以外に誤りが入る経路がある。
編集上の確認点は、業務規則の曖昧さと、真・偽・不明へ答えを整理する精度である。一貫性は正確さの必要な一面であって十分条件ではない。正解ラベル付きの評価、形式化の監査、実際の業務条件を合わせて検証したい。
出典
元のタイトル・要旨を確認する（英語）
LGMT: A Tool for Testing the Logical Reasoning Reliability of LLMs
Large Language Models (LLMs) increasingly serve as reasoning components in modern software systems, yet a model that answers a logical query correctly can contradict itself when the same problem is restated in an equivalent form. Static benchmarks evaluate queries in isolation and therefore fail to expose such inconsistencies. To address this limitation, we present LGMT, an open-source tool that detects reasoning inconsistencies through metamorphic relations grounded in first-order logic. Given a source test case in premise-conclusion form, LGMT generates logically equivalent follow-up cases and checks whether the model's entailment predictions agree across the pair, without ground-truth labels. The tool provides 20 built-in metamorphic relations, supports custom ones verified by the Z3 theorem prover, and runs from a CLI or a web studio, including an offline mock mode requiring no API key. Across six widely used LLMs on a bundled benchmark of 3,091 metamorphic groups, LGMT reveals inconsistency rates ranging from 20.84% to 29.44%. LGMT is publicly available on GitHub at https://github.com/MaxwelsDonc/lgmt-tool, with a demonstration video at https://youtu.be/gou4opptu1U.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-26