新着研究 / LLM / RAG
自然文の数学命題からLeanの定理を検索、LLMの再順位付けと専門家確認で未注釈の対応を発見
Formal-Informal Mathematical Alignment
概要
- Stacks Projectとmathlibの専門家注釈から482件の対応を構築した。
- LeanSearchの上位候補をLLMで並べ替えると、厳密な命題一致のR@1が0.36から0.46へ改善。
- 未注釈候補108件の人手確認では103件が正しく、同値や一般化の判断には監督が残る。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Formal-Informal Mathematical Alignmentの仕組み
- 01自然文の命題
- 02形式定理を検索
- 03LLMで候補を再順位付け
- 04対応関係を判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Leanの数学ライブラリmathlibは、定義や定理を計算機が検査できる形で蓄積している。一方、数学者が読む自然文の教科書には、同じ内容を扱っていても対応する形式的な命題へのリンクが十分に付いていない。
この対応が見つからないと、すでに形式化された結果を探すために多くの時間を使う。研究は、自然文を新しく形式化する前に、既存の数学知識同士を検索と判定で結び付け、再利用できる範囲を広げることを目指す。
手法
Stacks Projectの記述をmathlib側の専門家注釈と結び、正解となるリンクを集める。検索器LeanSearchは形式命題を自然文へ説明した表現を使い、問い合わせと近い候補を取得する。上位10件をQwenモデルが推論を伴って並べ替え、候補の先頭を改善する。
続いて、仮定と結論が一致する完全一致、意味が同じ同値、より広い条件を扱う一般化などを判定する。例えば同じ名前の定理でも仮定が違えば、単なる文章の近さだけで対応を確定できない。未注釈の候補にもこの手順を適用し、人が確かめる対象を絞る。
新規性
新たに作った自然文と形式文の対を大量に翻訳するのではなく、独立して存在する二つの知識体系を専門家の注釈から結んだ点が特徴だ。検索評価の基準にも、実際のライブラリで使われている対応を採用する。
また、既存注釈にない検索結果が直ちに誤りとは限らないことを、人手で調べている。評価データの欠落とモデルの判断ミスを区別する姿勢が、対応発見の信頼性に関わる。
従来手法との違い
LeanSearchだけの場合と、上位10件をLLMで再順位付けした場合を比較した。厳密な命題一致のR@1は0.36から0.46へ上がったが、R@10は0.73から0.72で、上位集合全体が広がったわけではない。
同じファイルに属する候補も許す緩い評価では、R@1は0.53から0.64になる。近い話題を探すことと、正確な形式化を発見することは異なるので、二つの基準を区別して結果を読む必要がある。
実験結果
専門家注釈によるデータは482リンク、325個のStacksタグを含む。全20,950記述を検索し、距離条件で1,810候補に絞ったうえで、LLMが228件を完全一致と判断した。
未登場の節に関わる108件を調べると103件が正しく、5件には修正が必要だった。多数決は完全一致や不一致の確度を高めた一方、同値と一般化では高い合意が専門家基準との一致を保証せず、人による監督が必要とされている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:形式数学を使う開発チーム向けに、自然文の仕様から既存の補題を探す補助画面を作る。入力は証明したい性質、出力は候補の定理と、その仮定・結論の対応理由にする。
検索結果から直接証明済みと扱うのではなく、完全一致の候補を先に見せ、一般化や部分一致は確認が必要な候補として表示する。利用者は元の定義や型まで戻って、必要な前提が満たされているかを確かめる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:扱う分野を一つに絞り、専門家が対応を確認した少数の命題を評価用に確保する。検索のみと再順位付けありを比べ、先頭候補の正確さと確認にかかる時間を測る。
完全一致、同値、一般化、部分一致を分けて誤りを記録する。コードが途中で切れる条件も試し、入力を完全にした場合に判断が変わるかを確認する。多数決を追加する際は、改善した精度だけでなく必要な推論回数も合わせて評価する。
限界と課題
著者らは、候補探索が既存の検索器の能力に制約され、すべての形式化を見つけられるわけではないとする。注釈自体にも一般化や系をどう引用するかの慣習があり、単純な一対一対応に収まらない。
編集上の確認点は、他分野への移行と、自然文側の省略された前提への対応である。LLMが対応を認めたことは、新しい証明の正しさを検証したこととは異なる。利用時には形式コードの検査と意味の照合をそれぞれ残したい。
出典
元のタイトル・要旨を確認する(英語)
Formal-Informal Mathematical Alignment through and beyond Human Annotations
Formalized mathematics libraries such as Lean's \texttt{mathlib} provide machine-verifiable representations of mathematical knowledge, including definitions, theorems, and their relationships. If effectively connected to informal mathematical resources, formal mathematics could help uncover previously implicit links between mathematical concepts and improve access to existing formalizations. However, connections between informal and formal mathematics libraries are currently sparse and unsystematic. In this paper, we make first strides towards better formal integration. We construct a dataset linking informal statements from the Stacks Project to their formalizations in \texttt{mathlib} by exploiting expert annotations. We evaluate retrieval, LLM-based reranking, and LLM-assisted verification to discover new unannotated informal-to-formal links. To facilitate exploration and reuse of formalized knowledge, we integrated the newly discovered alignments into the MaRDI knowledge graph, enabling mathematicians to find formal counterparts to informal mathematical content. We discuss the difficulties and challenges in using LLMs for linking formal and informal mathematical content. All code and data necessary for reproducing this paper can be found at: https://github.com/AnkitSatpute/Formal-Informal-Mathematical-Alignment
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-23




