アーカイブ / LLM
指示文の句読点で分類結果は変わるか：LLMの書式への頑健性を52課題で比較
When Punctuation Matters
When Punctuation Mattersの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Comparing format sensitivity mitigation methods in terms of their effect on accuracy and standard deviation over prompt formats. To aggregate accuracy, we first compute median accuracy over formats for each task, and then average over 52 tasks. Error bars are 2 × 2\;\times (standard deviation over formats, averaged across tasks).
概要
- Natural Instructionsの分類・選択式52課題と８モデルで、指示書式への頑健性を比較した。
- 著者らの評価では、Batch Calibrationは８モデルすべてで平均正解率を上げ、６モデルで書式間のspreadを有意に減らした。
- 最多ラベルを90％にした条件ではBatch Calibrationの成績が特に悪化したため、導入先のラベル比率を確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、When Punctuation Mattersの仕組み
- 01文章と分類指示
- 02指示の書式変更
- 03改善手法の適用
- 04分類結果
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LLMによる分類では、指示文の空白、句読点、大文字小文字を変えただけで回答が変わり得る。同じ意味の指示でも担当者やシステムで書式が異なれば、判定の一貫性を確かめる必要がある。
著者らは、書式への敏感さを抑える既存手法が別々の条件で評価され、効果を比べにくかったと指摘する。そこで課題、モデル、評価方法をそろえ、正解率と書式による揺れを調べた。
手法
入力は分類対象の文章と指示文で、選択式課題では回答候補も含む。文字の大小、区切り記号、空白、選択肢の番号などを組み合わせ、意味を保ったまま書式を変える。例えば区切りをコロンからハイフンに、選択肢をアルファベットから数字に変え、同じ文章への回答を比べる。
５つの改善手法を扱う。Batch Calibrationは複数入力の予測に共通する偏りを差し引き、Template Ensemblesは複数書式で得た回答候補の確率を平均する。ほかに、単語の置換に敏感な予測を抑える方法、書式を増やして追加学習するLoRA、異なる書式での予測をそろえる学習を加えたLoRA-JSがあり、最終的に各文章の回答を選ぶ。
新規性
著者らが主張する新規性は、指示文の書式変更に対する頑健性を、複数の改善手法について共通の条件で比較した点にある。頑健性とは、意味を変えない表記の違いに対して結果が安定する性質を指す。
回答時の補正や統合と、書式を増やす追加学習を、同じ課題群で調べた。さらにラベルの偏り、学習時と評価時の条件の違い、回答の選び方も検討している。
従来手法との違い
基準は正解例を２件示す２ショット方式で、例の選択と順序を固定する。比較対象は、予測の偏りを補正するBatch Calibration、複数書式の予測を平均するTemplate Ensembles、入力の小さな変更に敏感な予測を抑える手法である。
書式を増やして追加学習するLoRAと、異なる書式で予測をそろえる学習を加えたLoRA-JSも扱う。ただし、追加学習には正解ラベルが使われるため、回答時だけに働く手法との正解率の差には学習データの効果も含まれる。
実験結果
著者らはNatural Instructionsの分類33課題と選択式19課題、計52課題で、Llama、Qwen、Gemma系列の８モデルを評価した。10書式での最大正解率と最小正解率の差を「spread」と呼び、２ショット方式との差を課題ごとに求めて統計的に検定した。
著者らの結果では、Batch Calibrationは８モデルすべてで平均正解率が基準を上回り、６モデルでspreadを有意に減らした。Template Ensemblesは４モデルでspreadを有意に減らした一方、正解率は下がった。GPT-4.1とDeepSeek V3の評価は52課題中10課題に限られる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内掲示板の投稿を、嫌がらせを含むかどうかで分類する。入力は投稿文と分類指示、出力は担当者が確認するための分類ラベルとし、指示の句読点や改行が変わる場面を想定する。
投稿文、人手で付けた正解ラベル、実際の業務で使う指示書式を用意し、二択の表現と判定基準を業務に合わせる。追加のセンサーは不要である。人による確認や処分の判断まで、この研究の結果で代替できるとはいえない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：取得元を定めた社内投稿と人手の正解ラベルを用意し、嫌がらせの判定基準と分類指示を固定する。追加のセンサーは不要で、まず正解例２件を示す方式を基準にする。追加学習を試す場合は、別にラベル付きの学習用投稿が要る。
句読点、空白、選択肢の表記を複数通りに変え、正解率と書式間のspreadを測る。次にBatch Calibrationを同じ投稿群で試し、ラベル比率が偏る投稿群も分けて集計する。誤判定の内訳を人が確認してから採用を判断する。
限界と課題
著者らが明記する範囲上の制限は、評価が分類と選択式課題に限られ、自由な文章生成や多段階の推論を扱っていない点である。Batch Calibrationなど一部の手法は、回答候補の内部的な点数を取得できないモデルには適用しにくい。
編集上の検証事項は、導入先のラベル比率と書式の種類が評価条件に近いか、誤判定がどの投稿に集中するかである。著者らの最多ラベルを90％にした条件ではBatch Calibrationの成績が特に悪化しており、均衡したデータでの結果をそのまま移せない。
出典
元のタイトル・要旨を確認する（英語）
When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs
Large Language Models (LLMs) are highly sensitive to subtle, non-semantic variations in prompt phrasing and formatting. In this work, we present the first systematic evaluation of 5 methods for improving prompt robustness within a unified experimental framework. We benchmark these techniques on 8 models from Llama, Qwen and Gemma families across 52 tasks from Natural Instructions dataset. Our evaluation covers robustness methods from both fine-tuned and in-context learning paradigms, and tests their generalization against multiple types of distribution shifts. Finally, we extend our analysis to GPT-4.1 and DeepSeek V3 to assess frontier models' current robustness to format perturbations. Our findings offer actionable insights into the relative effectiveness of these robustness methods, enabling practitioners to make informed decisions when aiming for stable and reliable LLM performance in real-world applications. Code: https://github.com/AIRI-Institute/when-punctuation-matters.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01