Qwen3.8-27B-DFlash2-GGUF
z-lab · 工具包
GGUF 格式的草稿模型,通过提出词元块让主模型验证来加速 Qwen3.8-27B。适合在本地用 llama.cpp 运行该模型的人。
z-lab · 工具包
GGUF 格式的草稿模型,通过提出词元块让主模型验证来加速 Qwen3.8-27B。适合在本地用 llama.cpp 运行该模型的人。
openbmb · 工具包
通过起草 token、再让主模型一次性验证,加快 MiniCPM-OCR 1.0 的解码。它是草稿头,不是独立的 OCR 模型,适合自己部署文档解析的人。
nazeshinjite · 工具包
一个 GGUF 草稿模型,通过推测解码让 llama.cpp 里的 Qwen3.8-Flash-Next 更快,文件有 334 MiB 和 622 MiB 两种。它不是独立模型,适合在本地运行该目标模型的人。
incoai · 工具包
一个 403M 参数的草稿模型,用 SGLang 里的推测解码加快 Flint 语言模型的服务速度,并且不改变输出。它不是独立的模型。
speakleash · 工具包
作为草稿模型与 Bielik-11B-v3.1-Instruct 配对,在 SGLang 或 vLLM 中做推测解码。它不是独立的语言模型。
speakleash · 工具包
作为 DFlash 草稿模型,与 Bielik-11B-v3.1-Instruct 配对,在 SGLang 或 vLLM 里做推测解码。它不是独立的语言模型。适合自己部署 Bielik 的人。
incoai · 工具包
通过起草一整块 token 让主模型验证,来加速 Qwen3.8-27B,输出保持不变。这是适用于 SGLang 和 vLLM 服务的 1.9B 草稿模型,不是独立的聊天模型。
XHToken · 工具包
一个小型草稿模型,通过推测解码加速 Spark-X2.6-1.7B,每步最多猜 7 个 token。适合在支持它的 llama.cpp 构建上本地运行该模型的人。
XHToken · 工具包
作为推测解码的小型草稿模型,为 Spark-X2.6-4B 加速文本生成,提供 GGUF 格式。适合用 llama.cpp 在本地运行该模型的人。
z-lab · 工具包
一个草稿模型,通过提出一整块词元让主模型检查,来加快 Qwen3.8-27B 的生成。不能单独使用。适合用 SGLang 或 vLLM 部署 Qwen3.8-27B 的人。
incoai · 工具包
一次起草多个 token 让主模型去核对,以此加快 Qwen3.8-Flash-Next,适合用 SGLang 部署该模型、想更快出结果又不改动它的工程师。
aj9o9 · 工具包
一个 GGUF 草稿模型,通过推测解码在 llama.cpp 里加速 Qwen3.8-27B,在一块 RTX 3090 上处理代码和数学时约每秒 125 个 token,适合在本地运行 Qwen3.8-27B 的人。
tencent · 工具包
五层草稿模型,为 Qwen3.8-27B 并行猜测 16 个 token,再由大模型一并检查。适合部署该模型的团队。