アーカイブ / LLM
PDDLの修正箇所をLLMは見つけられるか――一致度と試験合格率の差
LLM-Only PDDL Domain Repair
概要
- 著者らは、公開重み言語モデルにPDDLの前提条件と効果の修正を直接提案させ、試験計画を渡す設定も評価した。
- 12の誤りを加えたIPC由来領域で、最良のNoTrace設定は平均F1が0.87、平均試験合格率が0.82だった。
- 修正箇所の一致度が高くても全試験の合格は保証されず、候補の採用には試験の再実行が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LLM-Only PDDL Domain Repairの仕組み
- 01誤ったPDDL
- 02名前と計画を参照
- 03条件・効果を修正
- 04修正集合と理由
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、作業手順を組み立てるための計画モデルに含まれる誤りを扱う。PDDLは、各行為を実行できる条件と、実行後に変わる状態を記述する言語だ。条件や状態の変化が違えば、実行できるはずの手順が拒まれたり、避けるべき手順が許されたりする。
モデルの作成者は、目標まで実行できる計画を正例、指定した行為で止まるべき計画を負例として示せる。修正候補が元の定義に近くても、これらの試験を満たすかは別に確かめる必要がある。
手法
著者らは大規模言語モデルに誤ったPDDLを渡し、行為ごとの「前提条件」と「効果」を追加・削除する案を出させる。前提条件は行為の実行前に必要な状態、効果は実行後に加わる、または消える状態を指す。既存の行為名や状態名を手掛かりとし、新しい状態の種類や変数は作らないよう指示する。
NoTraceの入力はPDDLだけで、WithTraceには正例・負例の計画も加える。WithTraceでは正例が目標に達し、負例は指定位置より前まで実行でき、その位置の行為で初めて止まる修正を求める。例えば「検査済み」が既存の状態名なら、組立の前提条件に加える案が考えられる。出力は修正集合と理由であり、試験を満たすよう記号的手法で補正する工程はない。
新規性
著者らは、言語モデルだけでPDDLの修正集合を予測する既存の設定を、より多くの新しい公開重みモデルに広げて評価した。行為名や状態名の意味を手掛かりにするNoTraceに加え、成功・失敗すべき計画も渡すWithTraceを調べた。
正解の修正との一致度に加え、修正後のモデルが試験を満たす割合を測っている。修正箇所をよく当てることと、計画モデルとして使えることの差を示した点が重要だ。
従来手法との違い
比較対象の記号的手法は成功・失敗すべき計画を実行し、失敗した試験を解消する変更を探索する。変更数が最小の修正集合を選び、試験を再実行して全件を満たすまで処理するが、行為名などの意味は使わない。
LLM単独法は名前の意味から修正を直接予測し、記号的な事後補正を行わない。NoTraceは試験計画を受け取らないため試験制約を課さない設定で、WithTraceは計画を受け取り、その成否を満たすよう求める。
実験結果
著者らは、行為の前提条件や効果に誤りを加えた12のIPC由来PDDL領域で評価した。正解の修正集合に対する適合率、再現率とその調和平均F1、修正後に満たした試験の割合TRを領域ごとに計算し、単純平均を報告した。LLMは各領域で1回実行し、比較対象には既報の記号的手法の5回平均を用いた。
記号的手法はF1が0.49、TRが仕組み上1.00だった。NoTraceのGLM 5.2で推論強度を高めた設定はF1が0.87、平均TRが0.82で、Thoughtful領域のTRは0.06だった。WithTraceで平均TRが最も高かったDeepSeek V4 Proの高推論設定はTRが0.92、F1が0.82だった。いずれもこの評価条件での著者らの結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製造工程の作業順を表す既存のPDDLで、検査前に組立を許す条件の欠落を点検する。入力は行為・状態の定義と、工程担当者が成功または失敗すべきと判定した作業計画で、出力は条件や効果の修正候補と理由とする。
元データは現場の工程規則と計画モデル、必要なラベルは各計画の成否と失敗すべき行為の位置である。机上のモデル点検ならセンサーは不要だが、現場の名称と規則をPDDLへ対応付け、担当者が候補と試験結果を確認する必要がある。製造用途での効果は論文で検証されていない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：既存のPDDLと、担当者が成否を確認した作業計画を少数集める。正例には達成すべき目標、負例には最初に実行不能となるべき行為の位置を付ける。追加学習用データは使わず、机上の計画を対象とするならセンサー入力も設けない。
現場の行為名・状態名と工程規則の対応を確認し、同じ入力でNoTraceとWithTraceの修正案を得る。現行モデルと担当者による修正を比較基準に、正例・負例の合格数、誤って許した負例、採用可能な変更数を記録する。全試験の再実行と規則の確認を経て、適用範囲を判断する。
限界と課題
著者らは、最良の修正一致度を得た設定でも全試験の合格には至らず、Thoughtfulでは試験合格率が0.06だったと報告する。長い試験計画を含むWithTraceでは入力長の上限に達した例や、解釈できない出力もあった。評価は誤りを加えた公開IPC由来領域に限られ、学習時に領域や修正を見ていた可能性も挙げている。
編集上の検証事項は、未知の現場モデルでも行為名から適切な意味を読み取れるか、負例の失敗位置を正しく指定できるかである。候補の採用前には全試験の再実行に加え、担当者による工程規則との照合が要る。
出典
元のタイトル・要旨を確認する（英語）
LLM-Only PDDL Domain Repair with Open-Weight Models
AI planning is concerned with finding a sequence of actions that achieves a specified goal. It relies on explicit models of the world, commonly represented in the Planning Domain Definition Language (PDDL). An active line of research investigates how errors in such models can be detected and repaired. For example, users may provide positive test plans that are solutions, and negative test plans that fail during execution. Automated repair methods then modify the PDDL model to satisfy these constraints. In this paper, we evaluate the ability of recent open-weight large language models to perform this repair task using an LLM-only approach. Our experiments show that the symbolic baseline achieves an $F_1$ score of $.49$, while the best-performing LLM reaches $.87$ with high reasoning effort, an absolute improvement of $.38$. However, that setting has a mean test pass rate of only $.82$, falling to $.06$ on the Thoughtful domain; even the best setting that includes the test traces reaches only $.92$. Thus, current open-weight models cannot guarantee satisfaction of the test constraints required for reliable automated model repair.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01