アーカイブ / LLM
Gated DeltaNet搭載LLMの候補検証で状態の複製を減らすTreeWY
TreeWY
概要
- TreeWYはGated DeltaNetの候補検証を三角連立方程式に変え、候補ごとの状態全体の保存を減らす。
- 著者の35Bモデルの特定条件では、標準方式に対する出力処理量の比が1.40だった。
- 候補を木状に広げると採用長は伸びたが、現状では処理量の向上に至っていない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TreeWYの仕組み
- 01候補トークンの木
- 02祖先関係を整理
- 03擬似値を一括計算
- 04採用状態を復元
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
TreeWYは、LLMが先回りして作った候補トークンをまとめて検証する際、途中の状態を保存するメモリを減らす。トークンは文章を処理する単位で、この候補を採用できるところまで一度に確かめる方法を投機的デコードという。
対象のGated DeltaNetは過去の情報を固定サイズの状態に要約する。ただし、その状態は途中まで簡単に戻せない。従来方式は候補ごとに状態全体を保存するため、候補を分岐させると必要なメモリが増える。
手法
入力は確定済みのGated DeltaNetの状態と、下書き役が提案した候補トークンの列または木である。各候補について、新しい値から先行する状態がすでに予測する分を差し引いた「擬似値」を求める。例えば候補が二つに分岐した場合、各候補は共通の祖先を参照し、別の枝の候補は参照しない。
TreeWYは親を子より先に並べ、この祖先関係を使って全候補の擬似値を一つの三角連立方程式で計算する。これは後の候補の計算が先に並ぶ祖先だけを参照する形の計算である。その結果から各候補の出力を得て採否を決め、採用された経路の擬似値だけを合成して次の確定状態を復元する。
新規性
TreeWYの主張は、Gated DeltaNetの状態更新を木構造のWY変換として表し、分岐した候補の出力計算と採用後の状態復元に同じ擬似値を使う点にある。導出に必要なのはGated DeltaNetの更新規則で、ほかのモデル構造には依存しないという。
候補ごとに状態全体を保存する代わりに、小さな擬似値行列を保持する。候補が列でも木でも、次の処理に引き継ぐ状態全体は採用された経路の1個だけ復元する。
従来手法との違い
比較対象のvLLM標準方式「storeall」は、確定済み状態と各候補位置の状態を保存し、採用位置の状態を選ぶ。長さ3の候補列なら状態は計4個となり、木では節点数に応じて増える。TreeWYは保存する状態全体を1個に抑え、採用時に復元する。
先行するReplaySSMも検証区間内で同じ三角連立方程式を解くが、状態を実体化する時点が異なる。著者は別途比較したと述べるものの、確認できた本文の範囲では結果の数値は示されていない。同時期のBoleとの直接比較も実施されていない。
実験結果
著者はvLLM上でQwen3.5-35B-A3Bと397B-A17Bを評価した。B200 GPU、深さ3の候補列、接頭辞キャッシュ無効、貪欲な候補作成・検証という条件で、標準方式storeallと比較した。35Bは単一GPU、397Bは8基で実行している。
35B、GPUメモリ利用率0.6、同時要求数256の表では、5種類の負荷の幾何平均で出力処理量の比は1.40、ピークKVキャッシュ使用量の削減比は1.04、p99初回トークン時間の改善比は3.97だった。著者は対応する175設定で採用長の差の絶対値を平均0.039と報告する。木の幅を広げる試験では採用長が伸びたが、処理量向上には至っていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内文書を参照して回答するLLMの配信で、利用が集中する時間帯の待ち時間を調べる。入力は社員の質問と検索した文書を組み合わせたプロンプト、出力は回答文と応答時間の記録とする。
必要なのはGated DeltaNet搭載モデル、実際の質問に近い評価入力、参照文書である。この配信方式の比較自体に追加の学習データやセンサーは要らない。回答確認には正解例や人手評価の基準を用意し、モデルと配信設定を合わせたうえで既存方式と比べる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象のGated DeltaNet搭載モデル、実際の質問に近い入力、要求が届く頻度の記録を用意する。配信方式の切り替えに追加の学習データやセンサーは不要だが、回答を確かめるための正解例または人手評価の基準は必要になる。
現行の状態保存方式を基準に、同じモデル、入力、候補列でTreeWYを比較する。対象モデルへの適用と配信設定の調整後、回答の妥当性、採用長、ピークメモリ、出力処理量、初回トークン時間を同時要求数ごとに測る。空いている条件と混雑時を分けて判断する。
限界と課題
著者は、木を広げると採用長は伸びるものの、現状では処理量の向上に至らないと報告する。木の節点が増える分だけ検証するトークンが増え、木の経路は実装上、一括処理の利点も弱まる。メモリが制約にならない条件では、列の検証でも処理量が数％下がる場合がある。
編集上の検証事項は、別のモデル系列、自社の入力長と同時要求数で同じ傾向が出るかである。評価対象は同一モデル系列の2規模であり、木による採用長の増加を、そのまま運用時の速度向上とは見なせない。
出典
元のタイトル・要旨を確認する（英語）
TreeWY: Speculative Verification for Gated DeltaNet Hybrids
Modern open models are hybrids: most layers are linear-attention (Gated DeltaNet, GDN) layers carrying a small fixed-size recurrent state instead of a growing key-value (KV) cache. This makes ordinary decoding memory-efficient, but hurts speculative decoding. To verify a batch of draft tokens and then roll back the rejected ones, today's systems snapshot the full recurrent state at every draft position for GDN layers, and those snapshots cannot be shared across branches of a draft tree, so a wide, high-acceptance tree becomes memory-infeasible. We remove the snapshots. Using a tree-structured WY transform of the gated delta rule, we compute every draft node's output with a single triangular solve and reconstruct only the one accepted state on commit, storing a small pseudo-value matrix instead of per-node states; the derivation depends only on the gated delta rule, not on any other architectural detail. In serving benchmarks on two scales of one hybrid model family (Qwen3.5 35B and 397B) this cuts speculative recurrent-state memory and KV-cache pressure at identical acceptance length, turning the freed HBM into higher throughput and much lower time-to-first-token (TTFT) wherever memory binds, and costing a few percent where it does not. For tree width the same memory buys affordability: a wider, higher-acceptance draft becomes possible, though not yet a throughput win.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01