アーカイブ / LLM
言い換えや条件変更でも指示を守れるか――IFEval++が測る回答の一貫性
IFEval++
IFEval++の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Examples of Cousin Prompts . The corresponding evaluation configurations are provided.
概要
- IFEval++はIFEvalの541問を各十問に拡張し、全問合格の組の割合をreliable@10で測る。
- 著者らが評価した46モデルのうち、GPT-5は元のIFEvalで95.9%、IFEval++のreliable@10で78.4%だった。
- 追加条件を付ける方式では追加した条件自体は採点しないため、業務への応用時は何を合格条件にするか確認が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、IFEval++の仕組み
- 01元のIFEval指示
- 023方式で9問生成
- 03判定設定を点検
- 04モデルの10回答
- 05全問合格率
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
IFEval++は、意図が近い指示を複数与えたとき、言語モデルが一貫して条件を守れるかを測る評価集である。基になったIFEvalは、回答の語数や形式など、指示された条件を満たすかを判定する。
元の一問に正しく答えられても、利用者が表現を変えたり条件の数値を変えたりした場合の成否は分からない。著者らは、似た意図の指示間での一貫性を「ニュアンスに対する信頼性」と呼び、単問の正答率とは別に調べている。
手法
著者らはIFEvalの各指示について、意味を保つ言い換え、元の条件と両立する別条件の追加、課題や制約の設定変更で九問を作る。例えば「600語以内」を「610語以内」に変える場合は、合否判定に使う語数設定も更新する。言い換えと課題だけの設定変更では、元の判定設定を保つ。
生成した候補は、判定用プログラムの内容を参照する確認器で点検する。各組は元の一問と三方式で各三問の計十問から成る。モデルの各回答を対応する条件で判定し、十問すべてに合格した組の割合をreliable@10として集計する。ただし、追加した別条件は注意をそらす要素として使われ、採点は元の条件に対して行う。
新規性
著者らは、意図が近い複数の指示を一組として扱い、全問に合格した組の割合を測る指標「reliable@k」を提案した。kは一組の指示数で、kが1なら元の指示だけを採点する通常の正答率に相当する。
さらに、言い換え、両立する条件の追加、課題や制約の設定変更を使って関連指示を生成し、判定用プログラムの内容を参照する確認器で候補を点検する。これらをIFEval++の作成に用いた。
従来手法との違い
比較の基準は、元のIFEvalの指示を一問ずつ採点する正答率である。IFEval++では元の一問と関連する九問を一組にし、十問すべてが各問の判定条件を満たした組だけをreliable@10の合格とする。
著者らの表では、公開モデルのGemma-3-IT-27BはIFEval正答率で17位、IFEval++のreliable@10で7位だった。この順位は表に含まれる公開モデル内のもので、単問の正答率と十問すべてを満たす割合が異なる情報を示す例である。
実験結果
著者らはIFEvalの541問を各十問の組に拡張し、商用20モデル、公開26モデルを評価した。通常は最も確率の高い語を選ぶ決定的な生成方法を使い、対応モデルでは推論モードを有効にした。各問はIFEvalの厳格判定に基づき採点し、全問合格の組の割合を求めた。
著者らの表では、GPT-5のIFEval正答率は95.9%、IFEval++のreliable@10は78.4%で、前者に対する相対的な低下は18.3%だった。Qwen3-0.6Bはそれぞれ58.0%、22.2%、相対的な低下61.8%である。いずれもこの評価集と採点条件での値で、業務での失敗率を示すものではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内問い合わせへの定型回答で、言い回しや条件が変わったときの必須項目の抜けを調べる。入力は個人情報を除いた問い合わせ文と、担当者が確認した言い換え・条件変更文。出力は各回答、必須項目の判定、十問単位の合否一覧とする。
評価だけを行うなら追加学習用データやセンサーは不要だ。元になる問い合わせ例、現行の回答規則、必須項目を示す判定用ラベルは必要となる。担当者が追加条件の両立性を確認し、条件を変えた文では対応する判定基準も更新する。効果は検証前には判断できない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：現行の回答規則から、必須項目や語数など判定基準を明記できる問い合わせ例を少数選ぶ。各例の言い換え、両立する条件の追加、設定変更を作り、担当者が意図と判定用ラベルを確認する。条件変更に応じた判定基準の更新も記録する。
まず元の一問の正答率を基準として測り、同じモデルで関連する全問の合格率と変更の種類別の失敗数を比較する。担当者間で判定が食い違う例も数える。追加学習用データとセンサーはこの評価には不要だが、元の問い合わせ例、回答規則、判定用ラベルは必要となる。
限界と課題
著者らが明示した限界は、複数の回答候補から合格答案を選ぶ改善手法を、適切な回答選択器がない領域へ広げる難しさである。IFEval++の評価対象は、コードで判定できる形式上の制約を持つ一往復の指示に限られる。
編集上の検証事項は、現場の回答内容の正確さを誰がどう判定するか、追加条件が元の条件と両立するかである。特に論文の「条件の追加」では、追加条件そのものは採点対象ではない。確認できた本文の範囲では、複数往復の対話や業務判断に同じ数値を当てはめられない。
出典
元のタイトル・要旨を確認する（英語）
Revisiting the Reliability of Language Models in Instruction-Following
Advanced LLMs have achieved near-ceiling instruction-following accuracy on benchmarks such as IFEval. However, these impressive scores do not necessarily translate to reliable services in real-world use, where users often vary their phrasing, contextual framing, and task formulations. In this paper, we study nuance-oriented reliability: whether models exhibit consistent competence across cousin prompts that convey analogous user intents but with subtle nuances. To quantify this, we introduce a new metric, reliable@k, and develop an automated pipeline that generates high-quality cousin prompts via data augmentation. Building upon this, we construct IFEval++ for systematic evaluation. Across 20 proprietary and 26 open-source LLMs, we find that current models exhibit substantial insufficiency in nuance-oriented reliability -- their performance can drop by up to 61.8% with nuanced prompt modifications. What's more, we characterize it and explore three potential improvement recipes. Our findings highlight nuance-oriented reliability as a crucial yet underexplored next step toward more dependable and trustworthy LLM behavior. Our code and benchmark are accessible: https://github.com/jianshuod/IFEval-pp.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01