アーカイブ / LLM
語を数える下書きで要約の長さを調整するPlan-and-Write
Plan-and-Write
Plan-and-Writeの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Length fidelity with vanilla prompting. The vertical axis shows the ratio of generated length to target length, with 1.0 representing perfect adherence. Each point represents an individual generation attempt, with color indicating over-generation or under-generation. Black points with error bars show the mean and standard deviation for each target length.
概要
- 語に番号を付けた下書きを段落へ直す指示により、モデルを再学習せず要約の語数を調整する。
- 主要評価では６モデル中４モデルで提案指示のいずれかが標準指示より低い語数誤差を示したが、効果はモデルによって異なる。
- 導入時は語数のずれだけでなく、原文との一致、重要点の欠落、生成時間を同じ条件で比較する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Plan-and-Writeの仕組み
- 01文書と目標語数
- 02番号付きの下書き
- 03同じ語を段落化
- 04指定語数の要約
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Plan-and-Writeは、要約に指定した語数へ出力を近づけるための指示方法である。同じ文書でも、短い音声応答と詳しい調査要約では必要な長さが違う。指定から外れると、表示欄への掲載や編集に手間がかかる。
大規模言語モデル（LLM）は、語数を明示しても守れない場合がある。モデルを再学習する対策は、モデル内部を変更できない外部サービスなどでは使いにくい。そこで著者らは、入力する指示文だけを変える方法を検討した。
手法
Plan-and-Writeは、文書と目標語数を受け取り、モデルに語を数えながら下書きさせ、その語を段落に書き直させる。たとえば英語の報告書を50語に要約するなら、Thinking V1では下書きの各語に１から50まで番号を付け、同じ50語を読みやすい最終文にするよう指示する。評価時には、指定したタグ内の最終文だけを取り出して語数を数える。
ここでいうプロンプトはモデルに渡す指示文である。もう一つのThinking V2は、文書の要点を先に整理し、補足を加えながら指定語数まで展開するよう求める。どちらも計画と仕上げを一度の生成で行い、モデルの再学習や追加の生成呼び出しを要しない。モデル自身の数え間違いは起こり得るため、出力後の語数確認は別途必要である。
新規性
著者らの提案は、目標語数を伝えるだけの指示に、語を数える下書きと最終文への書き直しを加えた点にある。モデルの重みを更新せず、追加の生成呼び出しも使わずに、長さを意識した要約を促す。
論文は番号付きの下書きを使うThinking V1に加え、要点を整理してから語数を数えつつ展開するThinking V2も評価した。いずれも指示文による制御であり、指定語数への一致を保証する仕組みではない。
従来手法との違い
比較対象は、指定語数で「要約する」Vanilla V1と「変換する」Vanilla V2である。提案側のThinking V1は語に連番を付けてから段落へ直し、Thinking V2は要点を整理したうえで詳細を加え、語数を数えるよう指示する。
著者らの主要評価では、６モデル中４モデルで提案側のいずれかが標準側の最良値を上回った。Llama 3.1 70BとMistral Largeでは標準側が最良で、利用するモデルごとに指示文を比べる必要がある。
実験結果
著者らはAmazonの2023年株主向け書簡のPDFを要約対象に、主要評価の６モデル、８種類の目標語数（20～5000語）、各条件５回、４種類の指示文で計960件を生成した。MAPDは目標語数に対する出力語数のずれの割合で、小さいほど目標に近い。語数は句読点を除き、NLTKのword_tokenizeで数えた。
著者らの表では、Claude 3.7 SonnetのThinking V1のMAPDは0.088、標準側の最良値は0.141で、改善率は37.6％だった。別のLLMによる品質採点ではThinking V1の忠実性0.96、網羅性0.85、関連性0.87が各項目の最高値だが、正確性は標準側0.91に対し0.90だった。人による品質判定の結果は、確認できた本文の範囲では示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の英語の報告書PDFを、共有欄に収める指定語数の要約へ変換する。担当者がPDFと目標語数を入力し、生成された要約を原文と照合してから掲載する。掲載先での長さの一致と内容の正確さは、導入前に確かめる。
必要な原資料は要約対象のPDFである。この指示方法の実行に追加の学習データ、教師ラベル、センサーは要らない。報告書固有の用語と掲載先の単語分割規則に指示文を合わせる作業は必要で、品質向上は編集上の仮説である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：実際に使うモデルへ同じ英語PDFと複数の目標語数を渡し、Vanilla V1・V2とThinking V1・V2をそれぞれ複数回試す。実行に追加の学習データ、教師ラベル、センサーは不要だが、対象文書と業務で使う語数規則に合わせた指示文の調整は必要である。
最終文を同じ単語分割規則で数え、MAPDと指定語数に一致した件数、生成時間を比較する。担当者が原文と照合し、事実誤認や重要点の欠落を記録する。日本語に広げる場合は、先に語数か文字数かを定義し、その規則で改めて評価する。
限界と課題
著者らは、モデル間で効果が異なること、計画部分の生成に伴う計算負担、品質を別の言語モデルで採点する際の偏りを限界として挙げる。Qwen 2.5 7Bで測った平均遅延は、提案側が標準側の1.57倍だった。
編集上の検証事項：長さ別の傾向は本文内で食い違う。結果の節は500語以上で従いやすいと述べ、限界の節は500語を超えると低下すると述べる。また、本文と結論には７モデルという記述がある一方、主要評価の設定と表は６モデルである。英語向けの語数判定を日本語の文字数制限へ適用できるかも未確認である。
出典
元のタイトル・要旨を確認する（英語）
Plan-and-Write: Structure-Guided Length Control for LLMs without Model Retraining
Length control in Large Language Models (LLMs) is a crucial but under-addressed challenge, with applications ranging from voice interfaces requiring concise responses to research summaries needing comprehensive outputs. Current approaches to length control, including Regularized DPO, Length-Instruction Fine Tuning, and tool-augmented methods, typically require expensive model retraining or complex inference-time tooling. This paper presents a prompt engineering methodology that enables precise length control without model retraining. Our structure-guided approach implements deliberate planning and word counting mechanisms within the prompt, encouraging the model to carefully track and adhere to specified length constraints. Comprehensive evaluations across six state-of-the-art LLMs demonstrate that our method significantly improves length fidelity for several models compared to standard prompting when applied to document summarization tasks, particularly for shorter-to-medium length constraints. The proposed technique shows varying benefits across different model architectures, with some models demonstrating up to 37.6% improvement in length adherence. Quality evaluations further reveal that our approach maintains or enhances overall output quality compared to standard prompting techniques. Our approach provides an immediately deployable solution for applications requiring precise length control, particularly valuable for production environments where model retraining is impractical or cost-prohibitive.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01