什么是推测解码（Speculative Decoding） – AI百科知识

推测解码（Speculative Decoding，国内也译作投机采样）是一种用于大语言模型（Large Language Model，LLM）推理阶段的加速方法。大模型逐词生成时，每输出一个词（Token）都要把全部权重从显存搬一遍，GPU 大量时间耗在等数据上，而非计算。推测解码的思路是用一个便宜的方式先「猜」出后面若干个词，再让大模型一次性并行核对，猜对的直接采纳，猜错的退回重来。整个过程在数学上保证输出分布与原模型一致，所以被称为无损加速，如今已经成为主流推理框架的标配选项。

什么是推测解码

推测解码（Speculative Decoding）是一类「小模型起草、大模型验证」的解码策略。大模型推理分两个阶段：预填充（Prefill）阶段可以并行处理整段提示，算力利用率高；解码（Decode）阶段每次只生成一个词，属于典型的内存带宽瓶颈。推测解码针对的正是后者：把串行的逐词生成，改造成「批量起草 + 一次验证」，用更多算力换更少的等待时间。

它被称为无损，是因为验证采用接受—拒绝采样（Acceptance-Rejection Sampling）：被采纳的词恰好是目标模型本就会选的词，被拒绝的位置按修正后分布重采，最终输出分布完全一致。

推测解码的工作原理

一次完整的推测解码循环大致包含四步：

• 起草：草稿模型（Draft Model）或草稿头（Draft Head）自回归地连续猜出 K 个候选词，K 通常取 3 到 8。
• 并行验证：目标模型把提示词与 K 个候选词拼在一起做一次前向，同时得到每个位置的真实分布，原本 K 次串行前向压成 1 次。
• 接受与拒绝：从左到右逐个比对，用 min(1, p_target/p_draft) 的概率接受候选词；遇到第一个拒绝的位置就停下，并从修正后的分布中补采一个词，这一轮结束。
• 复用与截断：被接受部分的键值缓存（KV Cache）保留，下一轮从新起点继续起草。

草稿的构造方式决定了流派。最初的做法是配一个独立的小模型；2024 年前后出现的 Medusa 在目标模型上并联多个解码头，一次预测多个未来位置；EAGLE 系列改为在特征层面预测，并用树形注意力让多个候选分支共享一次验证，其中 2025 年的 EAGLE-3 论文报告在特定设置下最高可达 6.5 倍加速，比 EAGLE-2 再提升约 1.4 倍。vLLM 还支持从提示词里检索重复片段直接当草稿，即 n-gram 推测，几乎不增加开销。DeepSeek-V3 则在预训练阶段引入多词预测（Multi-Token Prediction，MTP），把额外的预测层当作内置草稿头，省去单独维护草稿模型的麻烦。

推测解码的主要应用

凡是「延迟敏感、又要跑大模型」的场景，都能从中受益：

• 在线对话与客服：首字延迟和吐字速度直接决定体验，推测解码能在不换模型、不掉质量的前提下把吐字速度提高一倍以上。
• 代码补全：代码高度重复、局部可预测性强，草稿命中率高，是接受率表现最好的场景之一。
• 推理框架默认能力：vLLM、SGLang、TensorRT-LLM、llama.cpp 都已提供推测解码支持，2025 年 7 月起 vLLM 也加入了 EAGLE-3 的适配。
• 端侧与本地部署：在消费级显卡或笔记本上，用小草稿模型搭配量化后的大模型，是兼顾速度与显存的常见组合。
• 智能体多步任务：智能体（Agent）要连续调用工具、反复生成结构化输出，单次响应快一点，整条任务链的耗时就明显缩短。
• 推理成本控制：在同等硬件上提高吞吐，等于摊薄单位词元的服务成本，对按量计费的 API 服务尤其有意义。

推测解码面临的挑战

• 接受率不确定：加速比几乎等于平均接受长度，而接受率取决于草稿与目标分布的贴合度。领域偏移、温度偏高、任务发散时，接受率会明显下降。
• 高并发下收益收窄：推测解码主要缓解显存带宽瓶颈。当批次已经很大、GPU 进入算力受限状态时，多出来的验证开销可能反而拖慢整体吞吐。
• 额外成本：需要多存一份草稿模型的权重和缓存；还要为目标模型训练对齐草稿头，模型升级就得重训。
• 工程复杂度：树形草稿、动态草稿长度、与连续批处理（Continuous Batching）和前缀缓存的配合，都要在推理引擎里专门处理。
• 数据口径混乱：论文里的峰值加速和线上实测差距很大，前者常取自低并发、高接受率的理想条件，实际部署通常落在 1.5 到 3 倍区间。

推测解码的未来与前景

继续提升的方向已经比较清晰：一是把草稿做得更准，用 EAGLE-3 这类特征级、多尺度训练的方法压缩草稿与目标之间的差距；二是把验证做得更快，2025 年出现的并行草稿方案试图拆掉草稿阶段的串行依赖；三是把草稿内化，像 MTP 这样在预训练时就把多词预测能力写进模型，让加速不再依赖外挂模型。可以预见，它会从可选的调优项变成推理栈的默认配置，与量化、前缀缓存、连续批处理组成标准加速组合。