来自 Hugging Face 的 AI 项目

Qwen3.8-27B-DFlash2-GGUF

z-lab · 工具包

GGUF 格式的草稿模型，通过提出词元块让主模型验证来加速 Qwen3.8-27B。适合在本地用 llama.cpp 运行该模型的人。

Clef-LoRA-for-Qwen3.8-27B-GGUF

trevest · 工具包

把 Cloudflare Clef 的决策头加到 Qwen3.8-27B 聊天模型上，让一台 24 GB GPU 上的 llama.cpp 服务器既能回答带类型的问题，也能聊天。它是 LoRA 适配器，不是独立模型。

Ornith-1.5-122B-NVFP4-DFlash2-RTX-Spark

Sherlock-Comms · 工具包

通过 vLLM 和 DFlash2 推测解码来运行 122B 的 Ornith 1.5 模型，输出头保持未量化。适合有 128 GB 内存的 RTX Spark 笔记本。

DeepSeek-V4.1-Flash-1017-EXL3-franken-v100

philbert440 · 工具包

在八块 Tesla V100 32 GB 显卡上，以完整的 100 万词元上下文运行 DeepSeek V4.1 Flash，用的是 EXL3 专家包和 SM70 版 vLLM。适合拥有这类服务器的人。

MiniCPM-OCR 1.0 DSpark

openbmb · 工具包

通过起草 token、再让主模型一次性验证，加快 MiniCPM-OCR 1.0 的解码。它是草稿头，不是独立的 OCR 模型，适合自己部署文档解析的人。

Qwen3.8-Flash-Next-DFlash2-GGUF

nazeshinjite · 工具包

一个 GGUF 草稿模型，通过推测解码让 llama.cpp 里的 Qwen3.8-Flash-Next 更快，文件有 334 MiB 和 622 MiB 两种。它不是独立模型，适合在本地运行该目标模型的人。

Flint-DFlash2

incoai · 工具包

一个 403M 参数的草稿模型，用 SGLang 里的推测解码加快 Flint 语言模型的服务速度，并且不改变输出。它不是独立的模型。

Qwen3.8-27B Splash 8-bit

dmeight · 工具包

在 Apple silicon 的 LM Studio 里，通过 Splash 运行时以 8-bit 运行 Qwen3.8-27B。这是一个非官方的包，比 4-bit 版本更接近原始模型，但速度更慢。

Qwen3.8-27B-NVFP4-DGX-SPARK

autotrust · 工具包

在 DGX Spark 上把 Qwen3.8-27B NVFP4 的解码速度提高约 3.9 倍，权重不变，只靠调好的推测解码配置。适合在 Blackwell GPU 上用 vLLM 部署它的团队。

Bielik-11B-v3.1-DFlash2

speakleash · 工具包

作为草稿模型与 Bielik-11B-v3.1-Instruct 配对，在 SGLang 或 vLLM 中做推测解码。它不是独立的语言模型。

Bielik-11B-v3.1-DFlash

speakleash · 工具包

作为 DFlash 草稿模型，与 Bielik-11B-v3.1-Instruct 配对，在 SGLang 或 vLLM 里做推测解码。它不是独立的语言模型。适合自己部署 Bielik 的人。

Kimi-K3.1-Dflash2-Preview

RadixArk · 工具包

通过起草一块 token 让主模型一次验证，来加快 Kimi-K3.1-Pro 的推理服务。这是给 SGLang 用户的草稿模型，与目标模型配合使用，不是独立的语言模型。

MiniCPM-V-4.7-1B-gguf

openbmb · 工具包

通过 llama.cpp 运行 1B 视觉语言模型，回答关于图片的文字提示词。提供多种量化大小的 GGUF 文件，适合想要小型本地模型的开发者和爱好者。

Qwen3.8-27B-DFlash2

incoai · 工具包

通过起草一整块 token 让主模型验证，来加速 Qwen3.8-27B，输出保持不变。这是适用于 SGLang 和 vLLM 服务的 1.9B 草稿模型，不是独立的聊天模型。

Qwen3.8-27B Intel Arc Tuned

Greatjedi · 工具包

提供为 Intel Arc GPU 重新调整的 27B Qwen3.8 GGUF 文件，作者的测试里纯解码约每秒 22 个词元。适合在 Arc 显卡上用 llama.cpp 和 SYCL 的人。

MedErtas v0.1 31B LS

ErtasAI · 工具包

在 vLLM 和 NVIDIA Blackwell GPU 上运行面向医疗领域的语言模型，它是压缩后的 Gemma 4 31B。适合需要在考题、编码和答案核查任务上又快又省的医疗 AI 产品。

Kvark-Sparkle-1.0-27B-GGUF

Egzakta · 工具包

KVARK Sparkle 1.0 这个 27B 视觉语言模型的 GGUF 文件，适用于 llama.cpp、Ollama 和 LM Studio，保留了推测解码头。适合在本地运行大模型的人。

Spark-X2.6-1.7B-DSpark-GGUF

XHToken · 工具包

一个小型草稿模型，通过推测解码加速 Spark-X2.6-1.7B，每步最多猜 7 个 token。适合在支持它的 llama.cpp 构建上本地运行该模型的人。

Mellum2.1-12B-A2.5B-Thinking-GGUF

JetBrains · 工具包

在 llama.cpp、Ollama 或 LM Studio 里本地运行 JetBrains 的 12B 推理模型，有五种 GGUF 大小可选。适合想在自己电脑上用上下文为 131,072 个 token 的思考模型的开发者。

Qwen3.8-27B-Splash

incoai · 工具包

通过 Inco AI 的 Splash 引擎在 Apple 芯片 Mac 上运行 Qwen3.8-27B，一个包里含 4-bit 模型、DFlash 2 草稿模型和视觉编码器。只能在 Splash 里使用。

Spark-X2.6-4B-DSpark-GGUF

XHToken · 工具包

作为推测解码的小型草稿模型，为 Spark-X2.6-4B 加速文本生成，提供 GGUF 格式。适合用 llama.cpp 在本地运行该模型的人。

Qwen3.8-27B IQR-V4

StillDeadcode · 工具包

把 Qwen3.8-27B 压缩成十五种大小，每个权重约 2.5 到 8 位，面向 AMD RDNA4 GPU 上的 radiance 引擎，内含图片读取和提速草稿器。

MedErtas v0.1 27B LS

ErtasAI · 工具包

压缩到 22 GB 的开放权重医学语言模型，最擅长临床计算和从长病历中提取事实。适合在 NVIDIA Blackwell GPU 上构建医疗 AI 产品的团队。

Qwen3.8-27B-pi

bytkim · 工具包

为 Pi 智能体框架调优的 27B 编程模型，训练它读取代码仓库、编辑文件、运行工具并利用工具的反馈，推理强度可调。适合运行编程智能体的开发者。

Qwen3.8-27B-DFlash2

z-lab · 工具包

一个草稿模型，通过提出一整块词元让主模型检查，来加快 Qwen3.8-27B 的生成。不能单独使用。适合用 SGLang 或 vLLM 部署 Qwen3.8-27B 的人。

Qwen3.8-Flash-Next-DFlash2

incoai · 工具包

一次起草多个 token 让主模型去核对，以此加快 Qwen3.8-Flash-Next，适合用 SGLang 部署该模型、想更快出结果又不改动它的工程师。

Qwen3.8-27B-DSpine-b16-GGUF

aj9o9 · 工具包

一个 GGUF 草稿模型，通过推测解码在 llama.cpp 里加速 Qwen3.8-27B，在一块 RTX 3090 上处理代码和数学时约每秒 125 个 token，适合在本地运行 Qwen3.8-27B 的人。

mini-infer

prajwalpujari16 · 工具包

一个浏览器工作室，模拟 GPU 上的 PagedAttention 块分配、前缀缓存、投机解码校验和 KV 缓存估算。适合想看清 LLM 服务如何管理显存的工程师和学生。

DSpine for Qwen3.8-27B

tencent · 工具包

五层草稿模型，为 Qwen3.8-27B 并行猜测 16 个 token，再由大模型一并检查。适合部署该模型的团队。