アーカイブ / LLM
1つの下書きモデルを異なる語彙の言語モデルに合わせるOmniDraft
OmniDraft
OmniDraftの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Cross-vocabulary SpD online distillation on Llama-68M with Qwen2-7B as target
概要
- Llama-68Mを1つの下書きモデルとして、語彙の異なるLlama3-8BやQwen2-7Bなどと組み合わせた。
- 下書き側の複数のトークンを対象側の1トークンへ対応付け、検証結果で下書きをオンライン更新する。
- 著者らのGSM8K試験では、Llama3-8Bとの複合蒸留で受理率0.42、速度比1.70倍を報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、OmniDraftの仕組み
- 01入力文
- 02下書き候補
- 03語彙変換
- 04対象モデルの検証
- 05生成文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
OmniDraftは、大きな言語モデルの文章生成を速めるため、小さなモデルに続きを先に提案させる。推測デコードとは、その候補を大きな対象モデルがまとめて検証し、受理した部分を出力に使う方法である。
モデルごとに文章の区切り方や語彙が違うと、候補をそのまま検証しにくい。対象モデルごとに専用の下書きモデルを用意する負担も生じる。著者らは、1つの下書きを複数の対象モデルと組み合わせ、利用中のデータに合わせて更新する方法を検討した。
手法
小型の下書きモデルが入力文に続く候補を作る。トークンとは、モデルが文章を扱う文字列の単位である。語彙が違う場合は、複数の小片と対象側の1語の対応を蓄えるn-gramキャッシュを参照し、候補を対象モデルの語彙へ変換する。論文の例では、下書き側の「f」「la」「ke」を対象側の「flake」にまとめ、対象モデルが候補を検証する。
検証で受理または修正された結果は、次の候補生成に戻すほか、下書きモデルの学習にも使う。この学習を蒸留といい、対象モデルの出力を手がかりに小型モデルを合わせる。直接対応するトークンと複数の小片から成るトークンには別の学習方法を用いる。さらに受理される見込みを予測し、一度に提案する候補数を調整する。
新規性
OmniDraftが組み合わせたのは、異なる語彙間の対応を蓄えるキャッシュ、利用中の検証結果による下書きモデルの学習、提案する語数の調整である。対象モデルを替えても、1つの下書きモデルを使い続けることを狙う。
語彙対応では、下書き側の複数のトークンを対象側の1トークンへまとめられる。直接一致する語だけを扱う方式では候補にしにくい文字列も、検証に渡せるようにした点が具体的な進歩である。
従来手法との違い
比較対象のSpD_DMは、下書き側と対象側で直接対応するトークンを使う推測デコードである。先行手法UAGも語彙の共通部分を主に扱うため、下書き側の小片が対象側の1語にまとまる場合を十分に扱えないと著者らは説明する。
OmniDraftは複数の小片の対応も記録し、対象モデルの検証結果で下書きを更新する。候補数を調整する仕組みも加えるが、その速度上の効果は課題によって異なる。
実験結果
著者らは下書きをLlama-68Mに固定し、異なる語彙のLlama3-8BとQwen2-7B、同系統の語彙を使うVicuna-7Bで試した。課題はGSM8K、MBPPとHumanEvalの組み合わせ、Alpaca、XSumで、各課題の学習は1エポック未満。原則として生成温度は0.01とし、受理率と毎秒の生成トークン数に基づく速度比を測った。
試験データのGSM8Kで、直接対応のみのSpD_DMと複合蒸留を比べると、Llama3-8Bでは受理率が0.10から0.42、速度比が0.94倍から1.70倍、Qwen2-7Bでは0.14から0.37、1.04倍から1.61倍だったと著者らは報告する。別設定のVicuna-7Bでは、蒸留のみが2.20倍、候補数の調整を併用した2方式が2.08倍と2.15倍だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の英語コード補完で対象モデルを切り替える際、同じ小型の下書きモデルを使う。入力は開発者の補完依頼とコードの前後文脈、出力は対象モデルによる検証を経た補完文とする。元データには実際の依頼と対象モデルの応答が必要である。
学習には、候補ごとの受理または修正の結果と、検証時に得る確率を記録する。語彙対応を蓄え、検証済みの結果で下書きを更新する。物理センサーは想定しない。この用途で速度や補完品質が改善するかは未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：英語コード補完の依頼と文脈を少量集め、対象モデルの応答を元データにする。候補の受理・修正結果と検証時の確率を学習用に記録し、同じ依頼を対象モデル単独、直接対応のみのSpD_DM、OmniDraftで処理する。必要な観測は生成時の記録で、物理センサーは想定しない。
語彙対応のキャッシュを作り、検証結果で下書きを短期間更新する。毎秒の生成トークン数、候補の受理率、対象モデル単独の出力との一致度を、更新前後とモデル切り替え直後に測る。学習と記録に要した時間も含めて判断する。
限界と課題
著者らは、異なる語彙間で確率を移す処理に近似が含まれると説明する。候補数の調整については、下書きモデルの更新で学習用の値が変わり、受理予測が追いつかない可能性を挙げる。実際、Vicuna-7BのGSM8Kでは蒸留のみの速度比が調整併用の2方式を上回った。
編集上の検証事項は、学習や記録を含む処理時間、対象モデル切り替え直後の受理率、出力の一致度である。確認できた本文の範囲では、社内コード補完や日本語業務文書での結果は示されていない。
出典
元のタイトル・要旨を確認する（英語）
OmniDraft: A Cross-vocabulary, Online Adaptive Drafter for On-device Speculative Decoding
Speculative decoding generally dictates having a small, efficient draft model that is either pretrained or distilled offline to a particular target model series, for instance, Llama or Qwen models. However, within online deployment settings, there are two major challenges: 1) usage of a target model that is incompatible with the draft model; 2) expectation of latency improvements over usage and time. In this work, we propose OmniDraft, a unified framework that enables a single draft model to operate with any target model and adapt dynamically to user data. We introduce an online n-gram cache with hybrid distillation fine-tuning to address the cross-vocabulary mismatch across draft and target models; and further improve decoding speed by leveraging adaptive drafting techniques. OmniDraft is particularly suitable for on-device LLM applications where model cost, efficiency and user customization are the major points of contention. This further highlights the need to tackle the above challenges and motivates the \textit{``one drafter for all''} paradigm. We showcase the proficiency of the OmniDraft framework by performing online learning on math reasoning, coding and text generation tasks. Notably, OmniDraft enables a single Llama-68M model to pair with various target models including Vicuna-7B, Qwen2-7B and Llama3-8B models for speculative decoding; and additionally provides up to 1.5-2x speedup.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01