アーカイブ / LLM
動くコードの新しさを測るCreativeBenchと、生成時に探索の傾向を加えるEvoRePE
CreativeBench / EvoRePE
CreativeBench / EvoRePEの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) Combinatorial Creativity
概要
- CreativeBenchはコード生成課題を「組み合わせ」と「探索」に分け、実行による品質と既存解からの距離を掛け合わせて評価する。
- 著者らは計1,859問を構築し、抽出した300問の人手確認で有効率89.1％を報告した。
- EvoRePEは改善前後の指示文から得た内部表現の方向を生成時に加える。特定の実験条件では創造性スコアが表の値で0.175から0.193になったが、本文の数値とは食い違う。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CreativeBench / EvoRePEの仕組み
- 01改善前後の指示文
- 02内部表現の差分
- 03共通方向の抽出
- 04生成時に加算
- 05候補コード
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CreativeBenchは、生成コードが正しく動くかと、既存の解からどれほど離れているかを測る評価基盤である。正解率だけでは、同じような解を繰り返す場合と、別の方法で解く場合を区別しにくい。
著者らは創造性を、既知の要素を結び付ける「組み合わせ」と、制約の中で別の解を探す「探索」に分けた。コードなら実行テストで誤った出力を見分けられるため、両者を定量的に調べる題材として選んでいる。
手法
CreativeBenchの組み合わせ課題は、異分野のコードを統合した解を実行で確かめ、その解からテストと問題文を作る。探索課題は、直前の解法を禁じる条件を積み重ね、別の解を求める。品質にはPass@1（一回の生成が正解する確率の推定値）を用いる。新規性は、コードの意味や構造を数値化した表現の距離と、連続する４文字の並びの違いで測る。
EvoRePEは、通常の指示文と進化的に改善した指示文を対にし、対象モデルの内部表現の差を集める。主成分分析という、差に共通する方向を取り出す方法で一つの方向を得て、生成時の内部表現に強さを調整して加える。出力は候補コードであり、その正しさや新規性は別途評価する。
新規性
著者らが提案するCreativeBenchは、異分野の要素を結び付ける「組み合わせ」と、制約下で別の解を探す「探索」を、実行可能なコード課題で評価する。品質と新規性を掛け合わせ、正しく動くことと既存解からの違いを一つの指標に反映する。
EvoRePEは、進化的な指示文の改善に伴うモデル内部の変化を抽出し、生成時に加える方法である。指示文の対を用意した後は、モデルの再学習を伴わずに適用する。
従来手法との違い
HumanEvalやMBPPなど、論文の比較表に載る従来のコード生成評価は、主にテストを通るかを測る。CreativeBenchは実行による品質に加え、組み合わせ課題では元の各解、探索課題では制約のない解からの距離を測る。
EvoRePEの実験では、通常の指示文と、進化的に指示文を改善するAlphaEvolve、GEPAを比較対象とした。著者らは計算量を理由に、AlphaEvolveをプログラム自体ではなく指示文の最適化に用いている。
実験結果
著者らはPythonの種課題から、組み合わせ1,308問、探索551問の計1,859問を構築した。両集合は14分野にまたがる。専門家３人が無作為抽出した組み合わせ200問と探索100問を確認し、課題の有効率89.1％を報告した。自動評価と専門家による創造性順位の相関はSpearmanのρ＝0.78だった。
論文の表では、Qwen2.5-7B-Instructと指示文最適化版AlphaEvolveを組み合わせた条件で、CreativeBench-Comboの創造性スコアがEvoRePE追加前0.175、追加後0.193だった。値は独立した10回の実行の平均である。ただし本文には同じ箇所を0.174から0.192とする記述があり、数値は一致しない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内のPython製CSV集計処理を、変更後の集計仕様に合わせて作り直す候補を検討する。現行コード、仕様、入力CSVの例を与え、候補コードとテスト結果、現行解との差を担当者に示す。
元データには現行コードと仕様、正解ラベルに相当する期待出力付きテストが要る。EvoRePEも試すなら改善前後の指示文の対を集め、対象モデルの内部表現から方向を抽出する。センサーは不要で、最終的な採用は担当者が判断する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内のCSV集計処理について、現行のPythonコード、変更後の仕様、期待出力付きテストをそろえる。期待出力を正解ラベルとし、センサーは使わない。EvoRePEを試す場合は改善前後の指示文の対を用意し、対象モデルの内部表現から加算する方向を抽出する。
同じ課題と生成条件で、通常の指示文と方向を加えた場合を比較する。テストに通る割合と基準解からの距離を別々に記録し、両者を掛け合わせた値も確認する。正解率が下がって距離だけが増えた例や、保守しにくい候補は人が点検する。
限界と課題
著者らは、自動生成課題の品質をモデルによる点検だけでは保証できないとして、人手で標本を確認した。報告された有効率は89.1％で、全課題の妥当性を保証する値ではない。また、進化的探索には多くの推論を要すると述べる。
編集上の検証事項は、表面的な書き換えで新規性が上がらないか、業務テストが仕様を十分に覆うか、抽出した方向が対象業務でも働くかである。AlphaEvolve併用時の組み合わせ課題には本文と表で数値の食い違いがあり、評価欄では表の値を採用した。
出典
元のタイトル・要旨を確認する（英語）
CreativeBench: Benchmarking and Enhancing Machine Creativity via Self-Evolving Challenges
The saturation of high-quality pre-training data has shifted research focus toward evolutionary systems capable of continuously generating novel artifacts, leading to the success of AlphaEvolve. However, the progress of such systems is hindered by the lack of rigorous, quantitative evaluation. To tackle this challenge, we introduce CreativeBench, a benchmark for evaluating machine creativity in code generation, grounded in a classical cognitive framework. Comprising two subsets -- CreativeBench-Combo and CreativeBench-Explore -- the benchmark targets combinatorial and exploratory creativity through an automated pipeline utilizing reverse engineering and self-play. By leveraging executable code, CreativeBench objectively distinguishes creativity from hallucination via a unified metric defined as the product of quality and novelty. Our analysis of state-of-the-art models reveals distinct behaviors: (1) scaling significantly improves combinatorial creativity but yields diminishing returns for exploration; (2) larger models exhibit ``convergence-by-scaling,'' becoming more correct but less divergent; and (3) reasoning capabilities primarily benefit constrained exploration rather than combination. Finally, we propose EvoRePE, a plug-and-play inference-time steering strategy that internalizes evolutionary search patterns to consistently enhance machine creativity.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01