DSpine
tencent · 工具包
为 Qwen3-8B 的推测解码一次起草多个词元,让模型服务器一次检查它们。适合推理工程师和推测解码研究人员。
新上架
tencent · 工具包
为 Qwen3-8B 的推测解码一次起草多个词元,让模型服务器一次检查它们。适合推理工程师和推测解码研究人员。
aj9o9 · 工具包
一个 GGUF 草稿模型,通过推测解码在 llama.cpp 里加速 Qwen3.8-27B,在一块 RTX 3090 上处理代码和数学时约每秒 125 个 token,适合在本地运行 Qwen3.8-27B 的人。
tencent · 工具包
五层草稿模型,为 Qwen3.8-27B 并行猜测 16 个 token,再由大模型一并检查。适合部署该模型的团队。