新着研究 / LLM
GEPAのプロンプト統合は設定で改善も大幅悪化も、挙動を見て見送る診断を提案
GEPA-MergeProbe
GEPA-MergeProbeの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Test-score change from adding merge to GEPA (GEPA+Merge − - GEPA), computed from Tables 1–2 of Agrawal et al. (2026) . Merge helps gpt-4.1-mini but hurts Qwen3-8B; dashed lines mark the six-task aggregate change ( + 1.14 +1.14 and − 2.45 -2.45 pp).
概要
- 二つの親プロンプトを統合する時期と方式を、5課題・2モデル・9設定で比較。
- 各モデルと課題で改善する設定はあったが、20ポイント以上悪化する条件も残った。
- 挙動に基づく見送りは大きな失敗を避けた一方、統合なしを安定して上回らなかった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、GEPA-MergeProbeの仕組み
- 01進化した親候補
- 02時期と統合法を変更
- 03検証例で挙動を測定
- 04採用または見送り
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
本研究は、言語モデル用のプロンプトを進化的に改善するGEPAで、二つの候補を統合する操作がいつ役立つかを調べる。GEPAは誤答への自己批評から指示を修正し、複数の候補を保持して探索する。
異なる候補の長所を合わせれば良さそうでも、統合が改善になるかはモデルと課題で変わる。研究は統合自体が不適切なのか、時期や組み合わせ方が合っていないのかを分け、採用を判断する手掛かりを探す。
手法
GEPAの統合は共通の祖先を持つ二つの候補から子を作る。片方だけが変えた部分はその変更を取り、両方が異なる変更をした部分は統合方式に従う。研究は高得点側の指示を使う、両方を連結する、言語モデルで要約するという三方式を比べる。
統合を許す時期も、すぐ、改善が3回止まった後、評価予算の33％を使った後の三条件にする。例えば質問応答の異なる探索経路を持つ親をまとめ、検証の一部で両親より良いか確認する。さらに文章の静的な特徴と、実際の回答挙動に基づく診断を比べ、高リスクな課題では統合を見送る試作を行う。
新規性
特徴は、新しい万能の統合法を提案するのではなく、時期と統合方式を分けた対照実験で不安定性を調べる点にある。モデルによる非対称な結果を、設定への感度という視点で分析する。
候補文の見かけから採否を予測する方法が十分でないことと、少数の実行結果に基づく見送りの有用性も調べる。最も良かった設定の紹介と、未知の試行でも安全に選べることを区別する設計である。
従来手法との違い
対照は統合を行わず自己批評による修正だけを使うNoMergeである。従来の同じ設定でモデル間に逆の効果が出た問題を出発点に、両モデルへ同じ九つの設定を試す。
両方の指示を単純に連結すると平均で約60％長くなり、小さいモデルでは危険があると分析する。一方で遅く統合すれば常に安全というわけでもない。タイミングだけでなく、課題のフィードバックの細かさや統合の方法が関係する。
実験結果
HotpotQA、HoVer、IFBench、MuSiQue、2WikiMultiHopQAと、gpt-4.1-mini、Qwen3-8Bを使う。Qwenは思考モードを無効化し、各テストは300例。全てのモデル・課題の組合せで少なくとも一つの統合設定がNoMergeを上回った。
一方、20ポイント以上の悪化が三条件に残り、最悪は35.67ポイント低下した。複数シードでは最良設定も変わる。挙動診断の試作は大きな失敗を回避したが、NoMergeに一貫して勝つ結果ではなかった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の回答プロンプトを自動改良する開発工程で、二案の統合前に小さい検証を入れる。入力は親候補と評価例、出力は統合案、実行成績、見送り理由にする。
例えば厳格なJSON出力と検索根拠の充実を別々に改善した候補を合わせる際に、形式違反や回答長の増加を先に調べる。文章が自然にまとまったかより、実際の課題で壊れないかを採用基準にする。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：NoMergeを基準として同じ評価予算を割り当て、三つの統合方式と複数の時期を少数課題で比較する。設定を選ぶ検証集合と、最後に一度使うテスト集合を分ける。
複数シードの正答率、形式違反率、指示長、評価呼び出し数、最悪の低下幅を測る。平均改善だけで採用せず、統合を見送った場合の結果も残す。検証で選んだ候補がテストでも良いかを確認し、探索による選び過ぎを点検する。
限界と課題
著者らの対象は二つのモデルと五つのデータ集合で、静的特徴から採否を予測できなかったという結論も試した特徴と条件の範囲に依存する。全ての文章特徴が無意味とする一般的な証明ではない。
編集上の確認課題は、別のモデル、より長い業務パイプライン、評価が曖昧な課題での再現である。テスト後に最良設定が見つかることと、事前にその設定を選べることは異なる。NoMerge自体にもばらつきがあり、一回の差だけで効果を断定しない必要がある。
出典
元のタイトル・要旨を確認する（英語）
When Does GEPA Merge Help? A Mechanism-Level Diagnostic
GEPA is among the strongest reflective prompt optimizers for language-model programs, but its system-aware merge operator is unstable across models: merge improves gpt-4.1-mini on average while degrading Qwen3-8B, an asymmetry noted but left unexplained by the GEPA paper. We investigate this instability across five datasets and two models. Our nine-configuration sweep over merge timing and merge operator shows that merge can improve both models when configured appropriately. This suggests that merge instability is better explained by configuration sensitivity than by an inherent flaw in the merge operator. We then test whether prompt-level features predict GEPA's merge-accept decisions and find that they do not, ruling out static-feature gating. As a proof of concept, a behavior-based probe built from these diagnostics avoids large merge failures in our multi-seed runs by abstaining on high-risk tasks, although it does not consistently outperform NoMerge. Code is available as GEPA-MergeProbe at https://github.com/ChongZZZZ/GEPA_MERGE .
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-27