新着研究 / AI Agent / LLM
SQLの試行とエラー修正を実行環境内で学ぶHarnessSQL、小型モデルの正答率を改善
HarnessSQL
HarnessSQLの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: From one-shot Text-to-SQL to harness-interactive database agents. A stable sandbox and structured SQL harness enable iterative exploration, execution feedback, revision, and submission.
概要
- 最終SQLだけでなく、表の探索・試行・エラー修正・提出までを同じ実行環境で学習する。
- 79データベースの検証済み2,512軌跡で追加学習し、実行結果を報酬とする強化学習を続ける。
- Spider 2.0-SQLiteで8Bモデルは15.5％から45.2％、14Bは22.2％から54.8％へ改善した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、HarnessSQLの仕組み
- 01質問とデータベース
- 02表と列を探索
- 03SQLを試行・修正
- 04最終SQLを提出
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
HarnessSQLは、質問からSQLを一度で作る学習と、実際のデータベースを調べながら答える運用のずれを縮める。SQLは表形式のデータを検索・集計する言語で、正しい列名や結合先を知らなければ見た目が妥当でも実行に失敗する。
実業務では表の確認、値の試し読み、エラー後の修正が必要になる。完成したSQLだけを教師にすると、この途中の判断を教えにくい。研究は実行を仲介する仕組みも学習対象に含め、操作の連続を覚えさせる。
手法
隔離した読み取り専用データベースを用意し、表一覧、構造確認、SQL実行、最終提出の四つだけをモデルへ公開する。この仲介環境をハーネスと呼ぶ。返す行数や実行時間を制限し、正解判定器はモデルから隠す。教師モデルがこの環境内で解いた操作列のうち、結果と手順の検証に通ったものを保存する。
まず操作列全体で追加学習し、次に同じ環境で正しい実行結果を報酬に強化学習する。環境から返る観測は学習損失から除き、モデル自身の推論と操作を教える。例えば顧客数の集計で不存在の列を使った場合、エラーを見て構造を確認し、列名を直して提出する過程が教師になる。
新規性
特徴は、課題の生成、教師の実行、追加学習、強化学習で操作の意味と観測範囲を揃えることにある。実行時だけ工具を追加する方式ではなく、データベースを探索する方針を最初から学習する。
最終SQLの文字列一致ではなく、実際の返り値と操作規約を確認する点も重要である。正しい答えと、読み取り専用制約や終了手順を守った操作の両方が成功の条件となる。
従来手法との違い
比較対象にはOmniSQL、Arctic-Text2SQL、汎用コードモデル、三モデルを協調させるMARS-SQLが含まれる。各基準方式は本来の推論手順で評価されており、全てに同じ操作を強制した単純なモデル比較ではない。
操作環境を固定した分析では、8Bの環境内追加学習が30.4％、環境外の追加学習が9.6％だった。学習と運用の一致が重要との解釈を支える一方、モデル規模だけで差を説明する比較ではない。
実験結果
著者らは79データベースから2,512件の検証済み軌跡を収集した。135課題のSpider 2.0-SQLiteで8Bは基盤15.5％、追加学習30.4％、強化学習まで含め45.2％。14Bは22.2％から54.8％へ上がった。8Bへ直接強化学習した場合は20.0％にとどまる。
異なる条件のBIRD-Interact Miniでは8B・14Bが9.0％・11.3％、LiveSQLBenchでは24.8％・28.5％だった。転移の改善は報告されるが、絶対正答率は十分高いとは言えない。文脈長を8Kから32Kへ広げた分析でも成績差があり、実行履歴を残す容量が結果に影響する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案は、社内の売上集計を行う読み取り専用エージェントである。担当者の質問と複製データベースを入力し、探索履歴を伴うSQLと集計結果を出す。例えば年度ごとの購入顧客数を調べ、担当者が条件と結合の妥当性を確認して利用する。
結果だけでなく、どの表を見て何を直したかを残すことで監査しやすくする。論文のベンチマーク成果を、そのまま社内の正確な集計へ保証するものではなく、検証可能な作業経路を作る用途の提案である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、匿名化した小さなデータベースに正解が既知の集計課題を作る。一回生成、実行環境だけを付けた版、環境内で学習した版を比較し、実行結果の一致率、必要な呼出し数、修正後の成功率を測る。
列名変更、空の結果、誤った結合を含む課題も分ける。読み取り制約、時間切れ、最終提出の遵守率を確認し、複数のデータ状態でも答えが合うか検査する。実行成功だけでなく、質問の意図に合う集計かを担当者が判定する。
限界と課題
著者らはSQLite中心の研究であることを限界として挙げる。確認できた本文の範囲では、別方言や実企業データの権限制御まで同じ成績を得る根拠はない。異なる対話環境では改善後も正答率が低く、完全自動化には距離がある。
編集上の確認点は、正解判定器を作れない業務への適用と、結果が偶然一致するSQLの扱いである。表数、観測の切詰め、履歴長が変わったときに探索方針を保てるかも、導入先の条件で別途測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
HarnessSQL: Harness-Native Training for SQL Agents in Realistic Database Environments
Text-to-SQL models are commonly trained to map questions directly to static queries, whereas real-world database agents operate through stateful, multi-turn interaction with live databases -- inspecting schemas, executing probe queries, diagnosing errors, and revising hypotheses. This creates a critical train-deploy mismatch, as the execution harness that mediates this interaction is introduced only at inference time. To bridge this gap, we propose HarnessSQL, a harness-native post-training framework that preserves the full interaction structure throughout both supervised fine-tuning and reinforcement learning. HarnessSQL builds isolated, executable database environments paired with hidden execution oracles, rolls out teachers directly inside the target SQL harness, and retains only verified trajectories for full-sequence SFT, followed by execution-reward RL. Across Spider 2.0-SQLite, HarnessSQL dramatically boosts the execution accuracy of compact models, raising Qwen3-8B from 15.5% to 45.2% and Qwen3-14B from 22.2% to 54.8%, while transferring effectively to out-of-distribution interactive benchmarks such as BIRD-Interact and LiveSQLBench. Our findings demonstrate that training database agents directly within their execution harness is essential for mastering complex, long-horizon database workflows.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-11