アーカイブ / Generative AI
複数の表を使う予測を、合成データの事前学習と少数の正解例で行うRDB-PFN
RDB-PFN
RDB-PFNの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Overview of the RDB-PFN Framework. The top panel illustrates our Universal Relational Prior , which synthesizes diverse relational databases via a hierarchical decomposition: Schema (LayerDAG), Structure (Hybrid SCM), and Content (Hierarchical SCM). The bottom panel depicts the Two-Stage Curriculum Learning protocol, where the model first establishes a statistical backbone on single-table data before adapting to the complex topological signals of linearized relational data.
概要
- RDB-PFNは、表の接続関係と行の値を持つ合成課題を200万件超使って事前学習する。
- 予測時はDFSで関連表を特徴へ集約し、少数の正解行を参照して重みを更新せずに二値予測する。
- 著者らは実世界の関連データに対する19課題で評価した。確認できた本文の範囲では課題別の指標と数値は分からない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RDB-PFNの仕組み
- 01関連表と正解行
- 02DFSで特徴集約
- 03列と行の注意処理
- 04対象行の二値予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
業務データは会員表と注文表のように複数の表に分かれ、キーで結び付く。会員の離脱を予測する場合、本人の属性だけでなく注文履歴も使うため、関連する行を集めて予測用の特徴にする作業が必要になる。
一方、企業のデータベースは非公開のものが多く、表の構成も異なる。著者らは、大量の実データを集めて共通の予測モデルを事前学習しにくいという問題に対し、表同士の関係を含む合成データを使う。
手法
RDB-PFNは事前学習用に、まず表同士の接続関係を作り、次に行を結ぶキー、最後に関連する行の影響を受ける列の値を生成する。会員表と注文表なら、注文を会員へ結び付け、その関係に沿う値を作る。表の接続関係の生成には、公開された表構造で学習したモデルを実験で用いる一方、表の中身は合成する。
予測時にはDFS（Deep Feature Synthesis）で関連表の値を集約し、対象表の各行を特徴の並びに変える。Transformerの注意機構が列同士と行同士の関係を見て、正解付きの少数行を手掛かりに対象行の二値予測を出す。この文脈内学習では、対象課題に合わせた重みの更新を行わない。
新規性
著者らが新規性として示すのは、複数の表を持つデータベースを事前学習用に合成し、未知のデータベースに少数の正解例だけで適応する構成である。合成時には表の接続関係、行を結ぶキー、関係に応じた列の値を順に作る。
予測モデルは、関連表を特徴へまとめる既存のDFSとTransformerを組み合わせる。著者らは専用の複雑な予測構造より、事前学習データに表間の依存関係を含める設計を重視している。
従来手法との違い
従来の手法として著者らは、関連表から特徴を作って案件ごとに勾配ブースティング決定木を学習する方法や、表をグラフに変換して学習する方法を挙げる。単一表向け基盤モデルには、関連表の情報を一行の特徴へ集約して渡す。
RDB-PFNは合成した関連データで事前学習し、対象課題では正解付きの行を予測時の文脈に使う。単一表向け基盤モデルとの成績比較は、同じDFS変換後の入力を与えた条件についての報告である。
実験結果
著者らは、単一表と関連表を含む200万件超の合成課題で事前学習し、実世界の関連データに対する19の予測課題で少数例からの性能を評価した。図では19課題の正規化した成績を集計し、単一モデル同士の条件と、比較手法に推奨設定を使う条件を示している。
著者らは、同じDFS変換後の入力を使う単一表向け基盤モデルなどを上回り、推奨設定との比較で推論が3～8倍速いと報告する。比較手法の推奨設定には複数モデルの統合が含まれ得る。確認できた本文の範囲では、課題別の指標名・数値や分割条件を確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：会員表と注文表から、会員の翌期の離脱有無を予測する。入力には会員属性、会員IDで結び付く予測時点以前の注文、過去に確定した離脱ラベルを使い、出力を会員ごとの二値予測とする。
担当者が結果を連絡候補の検討に使う流れを想定する。元データには二つの表と結合キー、少数の正解ラベルが必要で、列とラベルを対象課題へ対応付ける。センサー入力は想定しない。連絡施策への効果は、この研究結果からは判断できない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：会員表と注文表から、予測時点より前の記録だけを抽出する。会員IDによる結合を点検し、過去に確定した離脱有無を正解ラベルにする。正解付きの少数行と評価用の行を時期で分け、列と二値ラベルを入力へ対応付ける。
同じDFS特徴を使う単一表向け手法を比較基準にし、同じ分割と正解例数で、事前に決めた予測指標と推論時間を測る。誤予測も確認する。必要なのは元の表、結合キー、正解ラベルで、追加センサーは想定しない。事前学習用の実データ収集は、この方法の前提ではない。
限界と課題
著者らが明示する初期版の予測出力は二値分類である。また、表現力についての議論には、表の参照関係に循環がないこと、値の依存が近傍に収まること、同じ表の行が仕組みを共有することなどの仮定が付く。
編集上の検証事項は、対象の表がこれらの仮定にどれほど合うか、長い注文履歴や少数ラベルの選び方で結果が変わるかである。実務で使う前には、予測時点より後の注文や離脱確定情報が特徴に混ざらないかも確認したい。
出典
元のタイトル・要旨を確認する（英語）
Relational In-Context Learning via Synthetic Pre-training with Structural Prior
Relational Databases (RDBs) are the backbone of modern business, yet they lack foundation models comparable to those in text or vision. A key obstacle is that high-quality RDBs are private, scarce, and structurally heterogeneous, making internet-scale pre-training infeasible. To overcome this data scarcity, we introduce RDB-PFN, the first relational foundation model trained purely via synthetic data. Inspired by Prior-Data Fitted Networks (PFNs), where synthetic data generated from Structural Causal Models (SCMs) enables reasoning on single tables, we design a Relational Prior Generator to create an infinite stream of diverse RDBs from scratch. Pre-training on over 2 million synthetic single-table and relational tasks, RDB-PFN learns to adapt to any new database instantly via genuine in-context learning. Experiments show that RDB-PFN achieves strong few-shot performance on 19 real-world relational prediction tasks, outperforming state-of-the-art tabular foundation models evaluated on the same DFS-linearized inputs, while using a lightweight architecture and fast inference. The code is available at https://github.com/MuLabPKU/RDBPFN.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01