アーカイブ / LLM
入力中の候補をモデル内部の情報で選び、文章生成を速めるPLD+
PLD+
PLD+の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: As shown in the figure, the last generated token is \n. PLD has proposed draft tokens by selecting the candidate span with the longest matching prefix. However this is not always the optimum choice as shown in the figure. PLD+ proposes the candidate span with the highest semantic relevance resulting draft token acceptance.
概要
- PLD+は入力中の続きの候補をモデルの注意情報または隠れ状態で選び、元のLLMで照合して出力を確定する。
- 著者らの温度0・Vicuna-7Bの長文編集評価では、隠れ状態方式の速度比は逐次生成に対して平均5.16倍だった。
- 効果は入力と出力の重なりや生成条件に左右され、温度1の複数ターン会話にはRESTを下回る条件もある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PLD+の仕組み
- 01入力文と生成済み語
- 02同じ語の位置を検索
- 03内部情報で候補選択
- 04候補をLLMで照合
- 05確定した出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
PLD+は、入力に含まれる文章やコードを手掛かりに、大規模言語モデル（LLM）の出力を速める方法だ。LLMは通常、文章の細かな単位であるトークンを順番に生成するため、応答が長いほど待ち時間が積み重なる。
コード編集や文章編集などでは、入力の一部が出力にも残りやすい。投機的デコーディングは先に複数のトークンを仮置きし、元のLLMでまとめて照合する方法で、PLD+はこの重なりを候補作りに使う。
手法
PLD+は入力と生成済みのトークンを受け取り、最後に生成したトークンと同じものが、それ以前の入力のどこにあるかを探す。たとえばコード修正で同じ記号が何度も現れれば、それぞれの位置の後に続くコードが次の出力候補になる。隠れ状態を使う方式では、各候補の直前と現在の生成位置の直前にある内部表現の近さを比べ、最も近い位置の続きから語列を借りる。
元のLLMは借りた語列の各位置について確率をまとめて計算し、生成する語と照合する。最初の不一致より後の候補は破棄し、一致した部分だけを確定する。注意情報を使う別方式では、入力中の参照先を示す値で候補を順位付けする。その方式で用いる注意の箇所は、事前にプロンプトと生成結果を調べて選ぶ。
新規性
PLD+の改良点は、入力から見つけた複数の候補を、生成中に得られる注意情報または隠れ状態で順位付けすることだ。注意情報はモデルが入力のどこを参照したかを示す値、隠れ状態は文脈を反映した内部の数値表現を指す。
著者らは、候補を作るための別モデルや対象LLMの追加学習を使わず、入力と出力の重なりをより有効に使えるとする。ただし、注意情報を使う方式では、候補選択に役立つ注意の箇所を事前に特定する手順がある。
従来手法との違い
従来のPLDは入力中の文字列の一致を使って続きの候補を選ぶ。PLD+は一致する位置を探した後、モデル内部の情報を使って候補を順位付けする。どちらも入力から語列を借り、対象LLMによる照合を経て出力を確定する。
論文は追加学習を要するEAGLEや、外部の保存データから候補を探すRESTなどとも比較した。PLD+が最も速いかどうかはモデル、作業、生成条件によって変わるため、個別の表の結果から全条件での優位は言えない。
実験結果
著者らは、CodeEditorBench_Plusのコード編集80件、XATUの短文編集270件、ArgRewrite V.2の長文編集80件、MT-Benchの複数ターン会話80件、Spec-Benchの要約80件を使用した。速度比、平均スループット、1回の生成で採用されたトークンの平均長を指標とし、速度比は通常の逐次生成を1.00倍として3回の平均を報告した。
温度0のVicuna-7Bでは、長文編集の速度比が隠れ状態方式5.16倍、PLD 3.11倍、EAGLE 2.85倍だった。コード編集では順に3.83倍、2.43倍、3.16倍である。温度1の複数ターン会話では、同モデルのREST 1.61倍に対し、PLD+は注意方式1.56倍、隠れ状態方式1.54倍だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：既存コードの小規模な修正依頼に、隠れ状態を使うPLD+を試す。入力は修正前のコードと変更指示、出力は修正後のコードとし、担当者が差分を確認して採用する。元のコードが出力に多く残る案件を対象とする。
必要な元データは実際の修正依頼と修正前コードで、方式自体の追加学習用ラベルやセンサーは不要と考えられる。対象モデルで隠れ状態を取り出し、候補の検索と照合につなぐ適応が必要だ。速度向上は業務データで確かめる仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：実際の修正依頼と修正前コードを集め、同じ対象モデルと入力で通常の逐次生成、PLD、隠れ状態方式のPLD+を比較する。応答完了までの時間、1秒当たりの出力トークン数、候補が照合で採用された長さを記録する。
方式自体の追加学習用ラベルやセンサーは不要だが、比較には修正指示と元コードが要る。対象モデルから隠れ状態を利用できるよう処理を適応し、出力差分を人が確認する。入力と出力の重なりが小さい依頼も含め、どの案件で時間が短くなるかを測る。
限界と課題
著者らは、複数ターン会話の一部では質問に次の回答の手掛かりが乏しく、入力と出力の重なりを利用しにくいと述べる。温度1での複数ターン会話には、PLD+の速度比がRESTを下回る条件も示されている。
編集上の検証事項は、業務入力と出力の重なり、候補が照合で採用される長さ、内部情報を扱う処理を含めた所要時間である。論文の速度比は示されたモデルと作業の条件で得た値であり、別の依頼や対象モデルへの適用時には測り直す必要がある。
出典
元のタイトル・要旨を確認する（英語）
PLD+: Accelerating LLM inference by leveraging Language Model Artifacts
To reduce the latency associated with autoretrogressive LLM inference, speculative decoding has emerged as a novel decoding paradigm, where future tokens are drafted and verified in parallel. However, the practical deployment of speculative decoding is hindered by its requirements for additional computational resources and fine-tuning, which limits its out-of-the-box usability. To address these challenges, we present PLD+, a suite of novel algorithms developed to accelerate the inference process of LLMs, particularly for input-guided tasks. These tasks, which include code editing, text editing, summarization, etc., often feature outputs with substantial overlap with their inputs-an attribute PLD+ is designed to exploit. PLD+ also leverages the artifacts (attention and hidden states) generated during inference to accelerate inference speed. We test our approach on five input-guided tasks and through extensive experiments we find that PLD+ outperforms all tuning-free approaches. In the greedy setting, it even outperforms the state-of-the-art tuning-dependent approach EAGLE on four of the tasks. (by a margin of upto 2.31 in terms of avg. speedup). Our approach is tuning free, does not require any additional compute and can easily be used for accelerating inference of any LLM.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01