表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

FrugalEvo:高性能モデルの戦略立案と低費用モデルの実装を分担

FrugalEvo

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理

概要

  • 言語モデルでプログラムを改良する探索を、反復回数ではなく費用当たりの改善で評価する。
  • 高費用モデルが戦略を探し、低費用モデルが実装と改良を担当して、入力キャッシュも再利用する。
  • 数学・システムの10課題中9課題で、費用の途中経過を含むBA-AUCが比較手法を上回ったと報告する。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、FrugalEvoの仕組み

左から右へ読む
  1. 01最適化課題
  2. 02高性能モデルの戦略
  3. 03低費用モデルの実装
  4. 04評価と反復改良

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

FrugalEvoは、言語モデルにプログラムの変更案を作らせ、評価の良い候補を残しながら改良する探索の費用を抑える。円充填などの最適化では、良い解を得るだけでなく、そこへ到達する計算や生成の負担も重要になる。

反復回数を固定した比較では、一回ごとのモデル費用や早い段階で得られる改善を捉えにくい。研究は同じ予算の中でどれだけ良い解を得られるかを目標にし、モデルの担当とプロンプトの構造を設計する。

手法

高性能で費用の高い言語モデルには解法の戦略探索を任せ、安価なモデルにはその実装と繰り返しのコード改良を担当させる。候補プログラムを評価して、良いものを残す進化的探索を続ける。例えば同じ目的関数に対して、探索方針を考える段階と具体的な修正を作る段階を分ける。

実行の枠組みとプロンプトは、異なる探索段階で入力の共通部分を多く共有するように作り、キャッシュ再利用を増やす。評価には累積モデル費用に対する最良得点の曲線の面積であるBA-AUCを使う。予算の最後だけでなく、途中で良い解を得られるかも反映する。

新規性

モデルを単に小型化するのではなく、戦略の探索とコードの改良で費用の異なるモデルを使い分ける点が中心である。さらに入力の共通部分を再利用する構造を探索過程に組み込む。

BA-AUCによって改善の速さを費用の軸で比較する。最終得点が同じでも、早い段階で良い解を得る方式を区別でき、予算内での実用性を評価対象にしている。

従来手法との違い

比較手法にはOpenEvolve、ShinkaEvolve、AdaEvolve、EvoXが含まれる。著者らは最終解の品質が同等以上で、10の数学・システム課題中9課題でBA-AUCが高いと報告する。

円充填では複数エージェントを使うCORALやSwarmResearchも比較に含む。ただしモデル価格、キャッシュ条件、試行予算は費用の結果に影響するため、報告された金額を現在の利用料金や別課題の見積もりとして使わない。

実験結果

数学・システム最適化の10課題に加え、ALE-Bench-Liteのアルゴリズム最適化10課題でも平均性能が比較手法を上回ったと報告する。最終品質とBA-AUCを別々に評価している。

円充填ではGPT-5.6 TerraとLunaで1.68米ドル、GLM-5.3とFlashで0.55米ドルという実験費用を示し、平均約50米ドルの比較方式と同等以上の結果とする。これらは著者らの実験条件での値であり、一般的な固定価格や再現時の請求額ではない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案として、社内の小さな計算処理を予算内で高速化する開発支援を考える。入力は元のコード、正解を確認する評価、費用の上限で、出力は改善候補と得点・費用の履歴である。

高性能モデルで方針を決め、低費用モデルで変更を実装し、テストを通る候補だけを比較する。担当者は最終候補だけでなく途中の改善も見て、これ以上の探索に費用を使う価値があるかを判断する。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案では、一つの最適化課題で単一モデルによる探索を基準にする。同じ評価器と費用上限を使い、分担、キャッシュ共有を順に加えて比較する。

最終得点、費用に対する最良得点の推移、実行時間、正しさを失った候補数を記録する。複数回の試行でばらつきも測り、安価な実装モデルが戦略を正しく反映できない場合の再試行費用を含めて判断する。

限界と課題

結果は指定したモデルと最適化課題で得られたもので、評価器が作れない開発作業にそのまま適用できるとは限らない。費用の優位性は料金とキャッシュ再利用の条件にも依存する。

編集上の確認事項は、評価器への過適合、コードの保守性、戦略と実装の連携である。得点が高くても本番要件を満たさない変更があり得るため、正しさと制約を評価器で確認し、最終コードを人がレビューする工程を残したい。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

FrugalEvo: Towards Cost-Aware LLM-Guided Program Evolution

LLM-guided evolutionary methods, such as AlphaEvolve, have emerged as powerful approaches for challenging computational optimization problems, such as circle packing. However, prior work typically optimizes performance gain over a fixed number of iterations. We argue that practical optimization should maximize gain per unit cost. To this end, we propose FrugalEvo, a cost-aware evolutionary framework where a stronger, higher-cost LLM explores solution strategies, and a cheaper LLM implements them and iteratively refines the resulting code. We also design a cache-efficient evolution process, where our harness and prompts maximize the sharing of prefixes across different evolution steps, to improve cache reuse. To measure solution quality throughout a fixed cost budget, we introduce Budget-Aware Area Under the Curve (BA-AUC), defined as the area under the best-so-far evaluation score curve over cumulative LLM cost, up to the budget. Across 10 mathematical and systems optimization tasks, FrugalEvo matches or surpasses state-of-the-art baselines, including OpenEvolve, ShinkaEvolve, AdaEvolve, and EvoX, in final solution quality and achieves higher BA-AUC on 9 tasks. It also achieves higher average performance than these baselines on 10 algorithmic optimization tasks from ALE-Bench-Lite. Notably, on circle packing, FrugalEvo achieves new state-of-the-art performance with GPT-5.6 Terra and Luna for only 1.68 USD and with GLM-5.3 and its Flash variant for only 0.55 USD, matching or surpassing all baselines, including multi-agent methods such as CORAL and SwarmResearch, which cost approximately 50 USD on average.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-06