アーカイブ / LLM
Leanで検証済みの定理から、LLMは証明の仕組みを選べるか
Mechanism-level routing
概要
- FiberRingのLean検証済み22項目で、二つの言語モデルに13種類の証明機構ラベルを選ばせた。
- 証明機構を示すLean側の手掛かりを加えると、ラベル正解率はgpt-oss-120bで80.3%から90.9%、Llama 3.3 70Bで68.2%から81.8%になった。
- 中国剰余定理を広い「環の同値」とする誤分類は手掛かりで解消したが、別の分類境界では誤りが残った。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Mechanism-level routingの仕組み
- 01Lean検証済みの対象
- 02候補ラベルと手掛かり
- 03モデルの分類
- 04正解ラベルと照合
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、言語モデルが検証済みの数学的対象を見て、使われた証明の仕組みを正しく選べるかを調べる。Lean 4は証明を機械で検査する仕組みであり、対象に対応する形式的な根拠を参照できる。
証明を探す作業では、結論の大まかな種類だけでは必要な手順を絞れないことがある。例えば「環の同値」は二つの環が同じ構造を持つという結果を表すが、その同値をどう構成したかまでは特定しない。
手法
著者らはFiberRingというLean 4の形式化から22の短い代数的対象を選び、それぞれに証明書の系列に基づく正解ラベルを付けた。モデルには固定された13候補から証明機構を一つ選ばせ、真偽の判定、短い理由、留保も答えさせる。A1は対象と候補集合を示し、A2はLean側の判定と証明の手掛かりを追加する。
例えば、対象が二つの剰余環の積と同値になる場合、結果の形は「環の同値」である。証明の中心が互いに素な因子への分解と中国剰余定理なら、求めるラベルはCRT、つまり中国剰余定理による分解となる。出力を正解ラベルと照合し、追加情報で誤分類がどう変わるかを調べる。
新規性
著者らは、Lean 4で検証された代数的対象について、命題の真偽と証明機構の分類を別々に採点した。正解ラベルは、各対象に対応する宣言や証明書の系列に結び付けている。
同じ対象を手掛かりの有無で比較し、追加情報で解消する誤分類と残る誤分類を分けた。特に、結果が「環の同値」であっても、その構成に使う中国剰余定理を選べるかを調べた。
従来手法との違い
基準となるA1条件では、対象の識別子、式または対象そのもの、候補ラベルを示す。A2条件では同じ情報に、Lean側の判定や証明の手掛かりを加える。手掛かりには証明書の系列を示す語も含まれるため、A1とA2の差を真偽情報だけの効果とは解釈できない。
A1では、中国剰余定理による分解を、より広い「環の同値」とする誤りが目立った。A2ではこの誤りが両モデルで解消した一方、写像の保存と環構造、素数冪への特殊化と環の同値の取り違えは残った。
実験結果
著者らはFiberRingの22項目を二つのモデル、A1・A2の二条件、各3回で評価した。各モデル・条件は66回答で、温度0、シード0に固定し、gpt-oss-120bの推論設定はlow、Llama 3.3 70Bは無効とした。証明機構ラベルの正解率はgpt-oss-120bで80.3%から90.9%、Llamaで68.2%から81.8%になった。
中国剰余定理に該当するのは4項目で、3回ずつの計12回答のうち、gpt-oss-120bはA1で7回答を「環の同値」と誤分類し、A2では0回答だった。Llamaの真偽判定の正解率は両条件とも95.5%だった。別モジュールのSet Bは6項目、計72回答の追加確認である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:社内のLean定理を探す際、証明機構ごとに候補を絞る開発支援を試す。入力は定理文と宣言への参照、利用時点で確認できる証明の手掛かりとし、出力は機構ラベル、候補定理、確認先の宣言とする。担当者が候補を開き、実際の証明との対応を確かめる。
入力元には社内のLean定理群が必要で、担当者が確認した機構ラベルを評価用に付ける。追加学習用データとセンサー入力は使わず、既存の宣言名や用語を候補ラベルに対応付ける。この運用で探索が改善するかは未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:少数の社内Lean定理について、定理文、宣言への参照、担当者が確認した機構ラベルをそろえる。追加学習はせず、この定理群を入力元と評価用データにする。センサーは使わず、A2に相当する手掛かりが利用時点で取得できるかを先に確かめ、宣言名と候補ラベルの対応を調整する。
同じ定理群で手掛かりなしを基準とし、手掛かりありのラベル正解率と比較する。真偽判定の正解率、ラベル間の取り違え、定理ごとの変化も別々に記録する。広い分類へ流れる誤りが減るかを確認し、手掛かりに正解ラベルを直接示す語が含まれる場合は区別して集計する。
限界と課題
著者らは、主評価が一つの形式化から取った22項目、二つのモデル、推論を抑えた設定に限られると述べる。温度0、シード0での各3回は独立した標本ではなく、報告値は固定された手順での点推定である。別モジュールのSet Bも6項目の小規模な確認にとどまる。
編集上の検証事項は、別の定理群でも機構ラベルの細かさを一貫して決められるか、Lean側の手掛かりを利用時点で取得できるかである。A2の手掛かりは機構名を示し得るため、その成績を対象の記述だけから機構を推定する能力と同一視できない。
出典
元のタイトル・要旨を確認する(英語)
Mechanism-level routing failure in LLMs over Lean-verified algebraic structures
We present an empirical study of structural routing failure in large language models (LLMs) over a formally verified algebraic corpus. The task requires selecting the correct proof-mechanism label from a fixed closed template set for compact mathematical objects drawn from the FiberRing formalization in Lean 4, where each item is anchored to a Lean-verified artifact and assigned a label from the corresponding certificate family. Our central finding is a mechanism-level routing ceiling: under blind conditions, gpt-oss-120b achieves 80.3% template accuracy on 22 FiberRing items (n=66; temperature=0, seed=0), while Llama 3.3 70B reaches 68.2%. Exposing a mechanism-bearing Lean verdict/witness cue (Condition A2) raises accuracy to 90.9% and 81.8% -- gaps of +10.6 and +13.6 pp termed cue-induced routing uplift. The dominant failure is a CRT-to-ring-equivalence misroute: gpt-oss-120b misroutes 7 of 12 CRT items (58.3%) blind, zero under A2. A cross-model dissociation in Llama is notable: verdict accuracy is identical in both conditions (95.5%), while template accuracy improves 13.6 pp -- confirming that truth inference and proof-mechanism classification are separable capacities. A cross-corpus extension (Set B; 6 POM/CollisionKernel items, 72 evaluations) provides a small cross-module check: CRT-granularity compression reappears with different labels, and an inverse cross-model dissociation emerges. These findings extend the router hypothesis (Cazares 2026) to formal algebraic structures. The full pipeline, manifest, and results are at https://github.com/bytepro-ai/fiber-routing-eval.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




