アーカイブ / LLM / AI Agent
分析知識を検索し、解法とコードを試行するAutoMind
AutoMind
AutoMindの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The framework of our AutoMind .
概要
- AutoMindは専門知識を検索し、解法の作成・改良・修正を木探索で繰り返す。
- 選定されたMLE-Benchの16課題では、deepseek-v3使用時のBeats (%)が56.8±1.4%、同モデルのAIDEは43.3±3.0%だった。
- 社内利用を判断するには、正解ラベルのある過去データで、固定した予測手順と精度・時間・修正量を比較する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AutoMindの仕組み
- 01課題とデータ
- 02分析知識を検索
- 03解法候補を探索
- 04コードを実行・検証
- 05最良候補を提出
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AutoMindは、機械学習の課題について分析計画と実行コードを作り、結果を比べながら解法を探す。LLMは大規模言語モデルの略で、文章やコードを生成し、ここでは作業を進めるエージェントの中核になる。
分析には、データの確認、予測に使う項目の作成、モデルの選択、学習、評価が含まれる。著者らは、固定的な作業手順とコード生成では、経験に基づく工夫を要する複雑な課題に対応しにくいと問題を設定した。
手法
AutoMindは課題の説明を分類し、論文や公開競技の上位解法から関連知識を探す。対象課題そのものの解法は検索結果から除く。例えば販売数予測なら、参照した手法を基に分析計画とPythonコードを作り、実行結果と課題ごとの検証スコアを候補に記録する。
候補を枝分かれさせる「木探索」では、新規案の作成、既存案の改良、エラー修正を選ぶ。計画が複雑ならコードを小さな手順に分け、ASTというコードの文法構造の検査と実行時のエラーを見て修正する。反復回数か時間の上限に達すると、記録した検証スコアに基づき候補を選ぶ。
新規性
著者らの提案は、専門知識の検索、候補を枝分かれさせる木探索、計画の複雑さに応じたコード生成を一つのエージェントに組み合わせる点にある。各候補には計画、Pythonコード、検証スコアを保存する。
単純な計画は一度に実装し、複雑な計画は手順ごとに構文と実行結果を確認する。検索した知識を新規案と改良案に使い分けながら、実行可能な候補を探す構成である。
従来手法との違い
主な定量比較の相手は、既存のデータ分析エージェントAIDEである。著者らは、従来手法が定型的な作業手順や柔軟性の低いコード生成に依存し、複雑な課題では実務者の経験を取り込みにくいと説明する。
AutoMindでは、関連する論文や公開競技の上位解法を検索し、新規案の作成、既存案の改良、エラー修正を選んで繰り返す。報告された優劣は、選定された競技課題、使用モデル、実行条件に対する結果である。
実験結果
著者らは、75競技を含むMLE-Benchから規則で選んだ16課題と、OAG、BELKAの競技課題で評価した。各課題の制限は24時間、結果は2回の実行の平均と標準誤差である。MLE-BenchのBeats (%)は、公式順位表で成績が上回った人間参加者の割合を表す。
選定した16課題全体で、deepseek-v3を使うAutoMindは56.8±1.4%、同モデルのAIDEは43.3±3.0%だった。一方、OAGではo3-mini使用時のAUCがAutoMindで0.55±0.08、比較対象で0.56±0.03だった。著者らは同じモデルによる時間経過の分析で、AIDEの24時間時点の成績にAutoMindが平均6時間で達したと報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：小売業の週次販売数予測に適用する。店舗・商品ごとの過去の販売記録と翌週の実績値を学習データと正解ラベルに使い、候補の予測コード、予測値、検証結果を担当者に渡す。新しいセンサーは想定しない。
担当者が欠損値や集計単位を確認し、参照を認める分析知識と評価方法を定めてから探索を実行する。時期を分けたデータで候補を検証し、コードと参照元を確認して採否を決める。業務で精度が上がるかは、この検証で確かめる仮説である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：店舗・商品・週ごとの過去の販売記録を入力とし、実際の販売数を正解ラベルとして用意する。新しいセンサーは使わない。担当者が欠損、集計方法、参照可能な分析知識を確認し、課題分類と評価方法を販売予測用に調整する。
過去の期間で学習し、その後の期間で評価する小規模な検証を行う。担当者が固定した予測手順を比較相手とし、同じデータ条件で平均絶対誤差、実行時間、修正が必要だったコードの数を記録する。参照した知識と実行記録も残して結果を再確認する。
限界と課題
確認できた本文の範囲では、著者らによるAutoMind自体の業種別失敗率や、社内データでの運用上の限界は示されていない。MLE-Benchの選定規則の詳細は付録参照とされており、ここでは選ばれた課題の内訳まで確認できない。
編集上の検証事項は、検索知識に対象課題の答えが混入しないか、コードと評価データを追跡できるか、時間とトークン消費が業務に見合うかである。公開競技での成績を、非公開データでの予測性能として扱うことはできない。
出典
元のタイトル・要旨を確認する（英語）
AutoMind: Adaptive Knowledgeable Agent for Automated Data Science
Large Language Model (LLM) agents have shown great potential in addressing real-world data science problems. LLM-driven data science agents promise to automate the entire machine learning pipeline, yet their real-world effectiveness remains limited. Existing frameworks depend on rigid, pre-defined workflows and inflexible coding strategies; consequently, they excel only on relatively simple, classical problems and fail to capture the empirical expertise that human practitioners bring to complex, innovative tasks. In this work, we introduce AutoMind, an adaptive, knowledgeable LLM-agent framework that overcomes these deficiencies through three key advances: (1) a curated expert knowledge base that grounds the agent in domain expert knowledge, (2) an agentic knowledgeable tree search algorithm that strategically explores possible solutions, and (3) a self-adaptive coding strategy that dynamically tailors code generation to task complexity. Evaluations on two automated data science benchmarks demonstrate that AutoMind delivers superior performance versus state-of-the-art baselines. Additional analyses confirm favorable effectiveness, efficiency, and qualitative solution quality, highlighting AutoMind as an efficient and robust step toward fully automated data science. Code is at https://github.com/innovatingAI/AutoMind.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01