アーカイブ / LLM
LLMが作った特徴量は予測に役立つか：FeatEngの評価方法と導入時の確認点
FeatEng
FeatEngの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Example of interpretable function exploiting domain knowledge, i.e., threshold of systolic and diastolic blood pressures linked to hypertension (generated by GPT-4o 2024-08-06 ).
概要
- FeatEngは、LLMが生成した特徴量変換コードを、無加工のデータで学習したXGBoostからの予測誤差の減少で評価する。
- 著者らは103件の分類・回帰課題を評価し、o1-preview 2024-09-12のFeatEngスコアを30回の実行で11.05±1.29と報告した。
- 実務では正解ラベル付きデータと列説明を用意し、情報の混入やコードの整合性を確認して、未使用データで基準モデルと比べる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、FeatEngの仕組み
- 01課題と列の説明
- 02変換関数を生成
- 03学習・テストを変換
- 04XGBoostで採点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
FeatEngは、大規模言語モデル（LLM）が表形式データの予測に役立つ特徴量を作れるかを測る。特徴量とは、予測器に渡す列や、元の列から計算した値のことだ。実務では列の意味と予測対象を理解する必要があり、コードが動くだけでは十分ではない。
著者らは、知識問題や単独のプログラミング課題では、分野知識を実データに適用する力を測りにくいと考えた。そこで、生成した変換が予測結果に与えた効果を評価に使う。
手法
LLMには予測課題、各列の意味、カテゴリ値の説明、列ごとの頻出値などを示し、Pythonの変換関数を書かせる。関数は学習用の特徴量と正解ラベル、テスト用の特徴量を受け取り、加工後のデータを返す。例えば、口座開設日の列から開設後の日数を作る処理がある。
加工後の学習データでXGBoostを学習し、加工後のテストデータを予測する。XGBoostは表形式データの予測に使う手法で、ここでは元データを無加工で使った場合からの誤差減少を採点する。学習用とテスト用で列が一致しない場合や、テスト用の行数を変えた場合は評価が成立しない。
新規性
FeatEngは、LLMが書いたコードの正解例との一致ではなく、変換後のデータで予測誤差がどれだけ減ったかを採点する。列の意味を読み取り、分野知識を使い、実行できるコードにするまでを一つの課題として扱う。
著者らは多様な表形式データを集め、答えの暗記だけで高得点を得にくくすることを目指した。ただし、論文自身も、モデルがベンチマーク内の分野に過度に適合する可能性を挙げている。
従来手法との違い
基準は、列を変換せずにXGBoostを学習させた結果である。LLMの関数が入力をそのまま返せば、正規化した改善スコアは0％になる。分類の正解率が基準の0.80から0.95になった例では、著者らの計算による誤差減少率は75％である。
参照値として、著者らはEvalMLによるAutoMLも実装した。AutoMLは前処理や予測手順の構築を自動化する方法で、この設定では欠損値の補完、カテゴリと文章の符号化、特徴の合成を行う。FeatEngでは、LLMが課題と列の説明を読んで変換コードを作る。
実験結果
著者らは103件のデータセットを使用し、二値分類58件、多クラス分類24件、回帰21件を評価した。元データに分割指定がない場合は学習用60％、テスト用40％に分けた。XGBoostの内部パラメータは原則として初期設定のままで、調整は評価手順に含めていない。
著者らの表では、30回の実行におけるFeatEngスコアの平均と標準偏差は、o1-preview 2024-09-12が11.05±1.29、AutoMLが10.19±0.00だった。Chatbot Arenaのモデル順位とのスピアマン順位相関係数は0.878と報告している。これは対象モデルの順位の関係であり、個別業務での改善率ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：設備点検の記録から故障の有無を予測する案件で、候補LLMが作る特徴量を比べる。入力には、過去の点検値と故障の有無を対応づけた学習データ、各列の説明、予測時点で使える項目を用意する。現在の記録だけを使うなら追加センサーは前提としない。
各LLMに同じ説明を渡し、点検値から新しい列を作るPython関数を出力させる。担当者が列の意味と、故障後にしか分からない情報の混入を確認した上で、同じ予測器を使い、未使用データで誤差を比べる。改善は現場データで検証する仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一つの予測課題を選び、過去の表形式データと正解ラベルを用意する。各列の意味、欠損値、予測時点で取得できる項目を整理する。既存の点検記録を使う場合は、その記録を入力とし、追加センサーが必要かは不足する項目を確認して決める。
同じ学習・テスト分割で、無加工のXGBoostと候補LLMの変換後を比較する。コードの実行成功率、学習用とテスト用の列の一致、テスト用の行数、未使用データでの誤差を記録する。担当者が生成列を確認し、対象データに合わない変換は修正して再評価する。
限界と課題
著者らは、専門家が同じ課題に取り組む人的な比較値を用意できなかったと述べる。また、元データを再構成しているためKaggleの元の競技結果とは直接比較できず、医療や金融などに課題が偏ること、モデルが収録分野に過度に適合し得ることを挙げている。
編集上の検証事項は、自社データの列説明で変換を判断できるか、予測時点で使えない情報が混入しないか、生成コードが新しい期間のデータにも適用できるかである。ベンチマークの順位だけで個別業務への適合性は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Can Models Help Us Create Better Models? Evaluating LLMs as Data Scientists
We present a benchmark for large language models designed to tackle one of the most knowledge-intensive tasks in data science: writing feature engineering code, which requires domain knowledge in addition to a deep understanding of the underlying problem and data structure. The model is provided with a dataset description in a prompt and asked to generate code transforming it. The evaluation score is derived from the improvement achieved by an XGBoost model fit on the modified dataset compared to the original data. By an extensive evaluation of state-of-the-art models and comparison to well-established benchmarks, we demonstrate that the FeatEng of our proposal can cheaply and efficiently assess the broad capabilities of LLMs, in contrast to the existing methods.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01