Speculative Speculative Decoding

[pentium3]

https://arxiv.org/abs/2603.03251

https://zhuanlan.zhihu.com/p/2012931663584317727

[pentium3]

这篇论文的核心观点是：普通 speculative decoding 已经比逐 token 自回归快，但它内部仍然有“先 draft、再 verify”的串行依赖；作者提出 SSD，在验证当前猜测时，提前为“下一轮可能出现的验证结果”并行做好草稿，从而把 drafting 的等待时间隐藏掉。 arxiv
论文进一步给出一个优化实现 Saguaro，在作者的实验里，相比优化过的普通 speculative decoding 最多快 2 倍，相比自回归解码最多快 5 倍。 [arxiv](https://arxiv.org/abs/2603.03251)

论文要解决什么

传统 speculative decoding 的流程是：小 draft model 先猜一串 token，大 target model 再一次性并行验证这些 token，这比纯自回归更快，但下一轮猜测必须等本轮验证结束后才能开始。 openreview
这篇 paper 观察到，真正剩下的瓶颈其实是 draft 和 verify 之间的这段同步依赖，所以它问的是：能不能连 speculative decoding 自己也再“投机”一次，把下一轮草稿提前准备好。 openreview

方法是什么

SSD 的做法是把 speculator 和 verifier 放在不同硬件上并行运行：当 verifier 正在验证第 (T) 轮时，speculator 不再空等，而是预测这次验证最可能产生哪些 outcome，并为这些 outcome 预先生成第 (T+1) 轮的 speculations，存进一个 speculation cache 里。 arxiv
如果真实验证结果正好落在 cache 里，就能立刻拿出下一轮草稿继续验证；如果没命中，就退回到普通的同步 speculative decoding 路径，因此方法仍然保持“lossless”，也就是最终采样分布不变。 openreview
这个思路和 CPU 的 speculative execution 很像：先把几个可能分支都预做出来，等真实分支揭晓后直接接着跑。 [arxiv](https://arxiv.org/abs/2603.03251)

Saguaro 的三个关键点

论文说 SSD 真正难的地方有三个：一是要预测验证结果，不只是“接受了几个 token”，还包括 residual distribution 里抽到的 bonus token；二是 cache 命中率和 acceptance rate 之间存在张力；三是 cache miss 时怎么 fallback 才不会在大 batch 下拖垮延迟。 openreview
针对第一个问题，Saguaro 把“该为哪些 outcome 预计算”写成一个受预算约束的优化问题，并推出一种 geometric fan-out 分配方式：越可能出现的位置分更多 cache 预算，实验里比均匀分配有更好的 hit rate 和端到端速度，尤其在高 temperature 下更明显。 arxiv
针对第二个问题，作者设计了 Saguaro sampling，通过下调 top-(F) draft token 的采样权重，把 residual distribution 的概率质量“推”向 cache 中那些更容易预测的 token，从而提升 hit rate，但代价是 acceptance rate 可能下降，所以需要调一个超参数 (C) 做平衡。 openreview
针对第三个问题，论文证明 fallback 策略应随 batch size 改变：小 batch 时可以用较慢但质量高的 backup，大 batch 时因为 cache miss 几乎必然发生，反而应该换成更快的低延迟 backup。 arxiv

结果怎么看

从实验设置看，作者主要在 Llama-3 和 Qwen-3 系列上评测，主文里常用的是 target 放在 4×H100、SSD 的异步 draft 放在单独 1×H100，并在 Alpaca、GSM8k、UltraFeedback、HumanEval 等数据上测试。 openreview
结果上，Saguaro 相比优化过的 SD 最多达到 2x speedup，相比自回归最多达到 5x，而且不仅降低单序列延迟，还把 throughput-latency Pareto frontier 整体往外推，低 batch 时收益尤其明显。 [arxiv](https://arxiv.org/abs/2603.03251)
不过作者也明确说了，这类方法主要优化的是 latency，对已经吞吐受限的场景，比如大规模 RL 或离线数据生成，收益未必明显；另外 SSD 依赖额外 draft 计算资源，进一步扩展时还要权衡更多设备、cache 大小和系统复杂度。 [arxiv](https://arxiv.org/abs/2603.03251)

我对这篇 paper 的简评

如果你熟悉 speculative decoding，这篇 paper 最值得记住的一点不是“又一个更大的 token tree”，而是它把优化目标从“让一次 verify 接受更多 token”改成了“让 drafting 和 verifying 彻底异步重叠”。 openreview
它本质上是在做 inference pipeline 的时序重构：不增加 verifier 负担，却用更多 draft-side 并行计算换掉同步等待，这个方向和系统领域里用额外廉价算力隐藏关键路径延迟的思路非常一致。 [arxiv](https://arxiv.org/abs/2603.03251)
对做 LLM serving 的人来说，这篇论文最大的启发是：下一波解码加速不一定只来自更强 draft model 或更复杂 acceptance 规则，也可能来自更激进的异步化、缓存化和跨设备流水线设计。 openreview