アーカイブ / LLM
法律問題の回答指示を自動改稿すると、採点役によって得点はどう変わるか
ProTeGi
ProTeGiの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . ProTeGi optimization pipeline. Task prompts are optimized separately with lenient (Qwen3-32B) and strict (DeepSeek-V3) judge feedback over 6 rounds, then transferred to the opposite judge. Vertical flowchart showing baseline computation, dual-path ProTeGi optimization with lenient and strict judges, and cross-judge transfer evaluation.
概要
- LEXamの法律自由記述問題で、ProTeGiを使い回答用指示文を6回改稿した。
- 同じ採点役での評価では、4つの回答モデルすべてで元の指示文よりJudge Scoreが上がり、寛容な採点役を使う条件の上昇幅が大きかった。
- 別の採点役への移行では寛容側から厳格側への得点上昇が逆方向を上回ったが、得点だけで法的な正確性は判断できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ProTeGiの仕組み
- 01法律の自由記述問題
- 02回答の採点
- 03得点低下例の批評
- 04指示文の改稿
- 05改稿済み指示文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
法律の自由記述問題では、言い回しが違っても同じ論点を扱えるため、語句の一致だけでは回答を評価しにくい。LEXamは大規模言語モデルを採点役に使い、回答の法的な分析を点数化する。
一方、回答モデルへの指示文と採点役の点の付け方は、得点に影響しうる。この研究は、回答用指示文を自動改稿すると得点が変わるか、ある採点役の評価を使って作った指示文が別の採点役にも通用するかを調べた。
手法
ProTeGiは、失敗例を文章で批評し、その指摘を使って指示文を書き直す方法である。著者らは元の指示文による各回答の採点値を基準に、候補の指示文で点が下がった問題を批評の材料とした。例えば、ある法律問題で候補の点が基準より低ければ、その回答の弱点を検討し、次の指示文に反映する。
批評と改稿は、回答を作るモデル自身が担う。改稿用60問では各問につき回答を4件生成し、選択用240問でも各問4件の平均点を使って候補を選ぶ。これを6回繰り返し、寛容なQwen3-32Bと厳格なDeepSeek-V3を採点役として別々に最適化した。得られるのは法律問題の回答ではなく、回答モデルに渡す指示文である。
新規性
著者らが新規性として挙げるのは、法律の自由記述問題で、採点モデルの評価を使って回答モデル向けの指示文を自動改稿し、元の指示文と比較した点である。
さらに、寛容な採点役と厳格な採点役を入れ替えて評価し、改稿時の採点傾向が指示文の移行効果に関わることを調べた。対象は採点用の指示文ではなく、回答を作るための指示文である。
従来手法との違い
基準は、LEXamで使われる、法学生の試験解答法を参考にした回答用指示文である。著者らは採点用指示文をLEXamと同じに保ち、ProTeGiで改稿した指示文によるJudge Scoreの平均値を、元の指示文と比較した。
改稿に使った採点役自身による評価に加え、もう一方の採点役による評価も実施した。比較が示すのは、この問題群とモデル、採点条件での得点差であり、法律実務における回答の正確性を直接測った差ではない。
実験結果
著者らは、スイスの大学の法律試験に由来するLEXamの自由記述問題2,841問を使用した。開発用300問を改稿用60問と候補選択用240問に分け、テスト用2,541問で評価した。Judge Scoreは採点モデルによる0～1点の評価を百分率で示した平均値である。
4つの回答モデルでは、改稿と評価に同じ採点役を使った場合、元の指示文からの上昇幅はDeepSeek-V3で2.79～5.97ポイント、Qwen3-32Bで4.20～6.74ポイントだった。別の採点役への移行でも、寛容側から厳格側への上昇幅が4モデルすべてで逆方向を上回った。これは採点値の結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：企業の法務部門で、一種類の契約相談に対する回答案の作成指示を調整する。入力には過去の相談文を使い、法務担当者が確認した回答と論点・根拠の確認項目を評価用に用意する。文章を扱うため、画像・音声センサーは想定しない。
まず過去の相談で指示文を改稿し、対象法域と社内用語に合わせて調整する。新しい相談文から論点、根拠、暫定的な回答を出力し、担当者が事実関係と引用を確認する。研究の得点上昇は、この用途での改善を保証しない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象を一種類の契約相談に絞り、過去の相談文を改稿用、候補選択用、最終評価用に分ける。法務担当者が確認した回答と、論点・根拠を判定する確認項目を評価用のラベルとして用意する。入力は文章で、追加のセンサーは想定しない。
元の指示文を基準に、対象法域と社内用語へ調整した指示文を同じ相談文で比較する。採点値の差に加え、担当者が論点の欠落、誤った根拠、事実の取り違えを件数で記録する。採点役を替えたときも結果が続くか確認する。
限界と課題
著者らが明示する制約は、傾向の異なる採点役を二つに絞ったことと、改稿中の候補選択を得点の点推定に基づかせたことである。他の採点役の組み合わせや、得点の不確実性を考慮した選択でも同じ結果になるかは今後の課題としている。
編集上の検証事項は、採点値の上昇が法的な正確性、根拠の妥当性、必要な論点の網羅に結び付くかである。著者らは得点上昇が大きい10問の回答を目視で確認したが、実務の相談全般に対する専門家評価を示したものではない。
出典
元のタイトル・要旨を確認する（英語）
Exploiting LLM-as-a-Judge Disposition on Free Text Legal QA via Prompt Optimization
This work explores the role of prompt design and judge selection in LLM-as-a-Judge evaluations of free text legal question answering. We examine whether automatic task prompt optimization improves over human-centered design, whether optimization effectiveness varies by judge feedback style, and whether optimized prompts transfer across judges. We systematically address these questions on the LEXam benchmark by optimizing task prompts using the ProTeGi method with feedback from two judges (Qwen3-32B, DeepSeek-V3) across four task models, and then testing cross-judge transfer. Automatic optimization consistently outperforms the baseline, with lenient judge feedback yielding higher and more consistent gains than strict judge feedback. Prompts optimized with lenient feedback transfer better to strict judges than the reverse direction. Analysis reveals that lenient judges provide permissive feedback, yielding prompts with broader applicability, whereas strict judges produce restrictive feedback, leading to judge-specific overfitting. Our findings demonstrate algorithmically optimizing prompts on training data can outperform human-centered prompt design and that judges' dispositions during optimization shape prompt generalizability.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01