表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

FALCON:曖昧な自然文と複雑なSQLを含む学習データを生成

FALCON

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

FALCONの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: Simplified architecture of the FALCON pipeline. It integrates systematic seeding, SQL and NL generation with CoT, and a multistage filtering process (Ambiguity, Reward, and Prompt-based), to produce high-quality NL-to-SQL pairs. To see a more detailed diagram of our pipeline, see Figure  6

出典:FALCON / arXiv ↗

概要

  • 予約語を手掛かりにしたSQL生成と人物像に基づく質問生成で、難しいNL2SQLの訓練例を作る。
  • 自然文とSQLの対応を検査し、複雑だが正しい例を誤って除かないようにする。
  • 複雑な質問での性能が改善し、既存データを少量混ぜると易しい質問の性能も回復したと報告する。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、FALCONの仕組み

左から右へ読む
  1. 01データベース構造
  2. 02複雑なSQLの生成
  3. 03人物像別の質問生成
  4. 04対応検査と選別

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

FALCONは、自然言語の質問をSQLへ変換するモデルの訓練用データを作る仕組みである。SQLは関係データベースから条件に合う情報を取り出す言語で、質問を表や列、その関係へ正しく対応させる必要がある。

人の質問には省略や曖昧さがあり、複数表を使う複雑な条件も含まれる。単純で明確な合成例ばかりでは実際の要求に備えにくい。研究は小型の公開モデルでも、難しさを保った自然文とSQLの組を作ることを目指す。

手法

予約語を種としてSQLの構造を作り、複雑な問い合わせを生成する。さらに、質問する人物像を指定するプロンプトで自然文を作る。人物像は同じ内容の表現を変える手掛かりとなり、定型的な質問に偏ることを避ける。入力となるデータベースの構造へ、言葉を対応付ける必要は残る。

生成した自然文とSQLの意味的な対応を調べるフィルターを使い、誤った組を除く。複雑なだけで正しい例まで落とさないことを重視する。例えば複数の条件を持つ要求では、見た目の長さや難しさではなく、SQLが要求に合うかで訓練例を選ぶ構成である。

新規性

複雑なSQL構造と、人が使う曖昧さを含んだ質問の豊かさを同時に狙う点が中心である。モデルやデータベースを限定しない枠組みとして、小型の公開モデルでの生成を想定する。

品質管理でも単純な例だけを残すのでなく、複雑さを維持しながら間違いを除く。合成データを増やす量の問題と、難しい訓練例を保持する選別の問題を合わせて扱っている。

従来手法との違い

著者らは生成例のSQL複雑性と自然文の豊かさが既存ベンチマークを上回ると報告する。また難易度を分けた分析で、複雑になるほどFALCONの例で学習したモデルの優位性が増したとしている。

一方で難しい例だけを増やすと易しい要求への性能を考える必要がある。既存ベンチマークの例を少量混ぜる学習では、複雑な要求の利点を保ちつつ単純な要求の性能を回復するという結果が示される。

実験結果

人による評価ではモデル規模をまたいで一貫した高品質が確認されたと報告される。難易度別の分析と、混合学習の比較によって、生成した例がモデルの回答性能へ与える影響を調べている。

ここで確認した記述からは人の評価人数、各難易度の具体的な得点、実行正解率の改善幅までは確定できない。複雑なデータを作れることと、個々の社内データベースで質問に正確に答えられることは別の検証が必要である。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案として、社内の集計データベースに対する自然文検索を訓練する工程を考える。入力は表・列の構造と想定利用者の質問、出力は意味が対応した自然文とSQLの学習対とする。

例えば管理者と現場担当者で違う言い回しを生成し、複数条件の問い合わせも含める。担当者がサンプルを点検して、実際の利用ログとは独立した検証用質問を残し、訓練例の多さだけで導入を決めない構成にする。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案では、限られた表構造で単純な合成データを基準にし、FALCON型の生成と混合学習を比較する。SQLの実行結果が質問の意図に合うかを、易しい質問と難しい質問に分けて測る。

誤った表や列の使用、集計条件の欠落、曖昧な要求に対する確認不足を記録する。フィルターが除いた例も人が確認し、正しい難例の除去率を調べる。生成費用と修正時間を含めて、データ追加の効果を判断する。

限界と課題

著者らは外部APIを使わず組織内でデータを生成できる設計を示すが、すべてのモデルや構造で同じ品質になる保証ではない。生成されたSQLと自然文の対応に誤りが残る可能性も点検対象である。

編集上の確認事項は、社内固有の用語、質問の曖昧さ、利用者の意図を聞き返す必要があるケースである。構文が実行可能でも意図と一致しない例を区別し、合成例と本番の質問分布がどの程度異なるかを確認したい。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

FALCON: A Model and Dataset Agnostic Framework for Synthetic Data Generation for NL2SQL Pairs

Relational databases are among the most widely deployed forms of structured knowledge, and natural language access to them requires grounding language onto schema entities and relations while handling the ambiguity inherent in how people phrase requests. Existing synthetic NL-to-SQL data generation methods largely ignore this ambiguity and produce oversimplified queries that fail to prepare models for the complexity of real-world structured knowledge access. We present FALCON, a framework that generates realistic, ambiguity-aware NL-to-SQL data matching the complexity of challenging real-world benchmarks, at low cost using compact open models. Our approach combines reserved-word SQL seeding and persona-based prompting to generate structurally complex queries, while alignment-based filtering preserves difficulty by distinguishing genuinely incorrect examples from complex but valid queries. Human evaluation confirms consistent high quality across model sizes, and our generated data exceeds existing benchmarks in both SQL complexity and natural language richness. Difficulty-stratified analysis shows models trained on FALCON data increasingly outperform baseline-trained models as query complexity increases, validating our pipeline's success in generating challenging training data. When combined with a small proportion of existing benchmark data, mixed training recovers performance on simpler queries while preserving these advantages on complex ones. The model- and database-agnostic design enables organizations to generate high-complexity NL-to-SQL training data locally without external APIs.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-06