Qwen3.8-27B-NVFP4 Deployment Edition

Qwen3.8-27B-NVFP4 Deployment Edition

用 vLLM 在一块 RTX 5090 上以 NVFP4 运行 Qwen3.8-27B，带校验和验证的下载、FP8 KV 缓存、工具调用和推理支持。适合在 Blackwell GPU 上自托管大模型的开发者。

由 IteraCompute 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen3.8-27B 模型的 NVIDIA NVFP4 格式部署版，由 IteraCompute 维护，用于在 Blackwell GPU 上高效运行。它附带一块 RTX 5090 的部署方案，以及用来验证下载的校验和列表。原始张量和模型配置保持不变，所以这个版本记录的是部署工作，不是新的训练或量化。

适合谁：适合想在自己的 Blackwell GPU 上托管大模型，并通过带推理和工具调用的 OpenAI 风格 API 提供服务的开发者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 后端开发者 | 在自己的机器上提供聊天接口 | 其他应用调用的本地接口
AI 工程 | 智能体构建者 | 使用方案里的工具调用和推理解析器 | 通过服务器调用工具的智能体
基础设施 | 推理工程师 | 在单块 RTX 5090 上测试 NVFP4 服务 | 在一块卡上尝试不同的引擎设置
小团队 | 有一块工作站 GPU 的团队 | 自托管大模型，而不是租用 | 共享的内部聊天服务器

如果你的 GPU 不是兼容的 Blackwell 显卡，可以跳过它，因为 NVFP4 需要这种硬件和引擎支持。

用在哪里：方案面向 vLLM，机器上有一块 32 GB 显存的 RTX 5090。

• vLLM 0.31.0 的 CUDA 和 Blackwell 版本，也就是模型卡的部署所用的版本
• 每个实例一块 32 GB 的 RTX 5090
• 任何能调用本地服务器的兼容 OpenAI 的客户端
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

使用场景 | 谁用 | 得到什么
本地聊天服务器 | 开发者 | 在自己 GPU 上的 OpenAI 风格聊天接口
调用工具的智能体 | 智能体构建者 | 回复中已解析的工具调用和分开的推理内容
长上下文工作 | 研究者 | 配置好的 262,144 个词元的上下文，受内存限制

如何设置：下载并验证文件，在单独的环境里安装支持 Blackwell 的 vLLM，然后用模型卡的参数启动服务器。

• 兼容的 Blackwell GPU，比如模型卡里用的 RTX 5090
• 安装在单独环境里的 CUDA 和 Blackwell 版 vLLM
• 约 17.92 GB 磁盘空间存放两个权重分片
• Python，用于 Hugging Face 下载命令

1. 把模型下载到本地文件夹。
2. 对照 SHA256SUMS 列表检查文件。
3. 在单独的环境里安装 vLLM。
4. 用模型卡的设置运行 vllm serve 命令。
5. 向本地服务器发送一个聊天请求。

hf download IteraCompute/Qwen3.8-27B-NVFP4 --local-dir ./Qwen3.8-27B-NVFP4
cd Qwen3.8-27B-NVFP4
sha256sum -c SHA256SUMS

vllm serve ./Qwen3.8-27B-NVFP4 \
  --served-model-name qwen3.8-27b-nvfp4 \
  --host 127.0.0.1 --port 8000 \
  --quantization modelopt \
  --tensor-parallel-size 1 \
  --max-model-len 262144 \
  --gpu-memory-utilization 0.97 \
  --max-num-seqs 16 \
  --max-num-batched-tokens 2048 \
  --kv-cache-dtype fp8 \
  --attention-backend FLASHINFER \
  --enable-chunked-prefill \
  --enable-prefix-caching \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_xml \
  --reasoning-parser qwen3

如何使用：服务器运行后，用模型名 qwen3.8-27b-nvfp4 调用它的 OpenAI 风格聊天补全路径。模型卡自己的测试通过在聊天模板选项里把 enable_thinking 设为 false 来关闭思考。仓库自带了聊天模板，想要推理或工具时就用它。

工具 | 作用
sha256sum -c SHA256SUMS | 检查检查点、服务文件和保留的文档
--quantization modelopt | 读取由 NVIDIA Model Optimizer 生成的 NVFP4 权重
--kv-cache-dtype fp8 | 用 FP8 存放注意力缓存以节省内存
--enable-chunked-prefill | 把长提示词拆成块
--enable-prefix-caching | 对重复的提示词开头复用已缓存的工作
--tool-call-parser qwen3_xml | 把模型的工具调用变成结构化的调用
--reasoning-parser qwen3 | 把模型的推理内容和答案分开

示例：启动服务器，然后发送一条只说 Hello 的用户消息，新词元上限为 256，并关闭思考。服务器会以 OpenAI 响应格式返回一个普通的聊天补全。

新手与专家：这一页讲的是在你自己的显卡上运行一个大模型。第一个小步骤是下载文件并运行校验和命令，它能在你做任何设置之前证明下载是完整的。

对专家来说，NVFP4 来自 NVIDIA Model Optimizer，各层的覆盖情况列在 config.json 和 hf_quant_config.json 里。部署方案加入了 FP8 KV 缓存、分块预填充、前缀缓存和 FlashInfer 注意力后端，GPU 内存使用率为 0.97，序列数为 16。取舍在于，无论配置写的是多长，真正的上下文长度和并行请求数都由你的引擎参数和空闲内存决定。

下载权重
用 SHA256SUMS 验证它们
安装支持 Blackwell 的 vLLM
用这些参数启动 vllm serve
发送 OpenAI 风格的请求

注意事项：在围绕它做规划之前，请先读这些限制。

• Checkpoint: 两个 Safetensors 分片，总共约 17.92 GB。
• Hardware: NVFP4 需要兼容的 Blackwell 硬件和引擎支持。
• No new tests: 这个版本没有增加新的质量评估或基准测试。
• Independent: 它是社区发行版，与 Qwen 或 NVIDIA 没有隶属关系。
• License: Apache 2.0，保留 LICENSE 文件和上游声明。
• Cost to run: 文件本身未提及费用，维护者另外提供托管 API。
• Data it reaches: 从 Hugging Face 下载的文件，以及发给你自己服务器的请求，示例把服务器绑定在本机。
• Not for: 不支持 Blackwell 的 GPU。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：14.6B
• Weights: about 14.6 GB in U8
• Formats: Safetensors
• 最近 30 天下载：190
• 点赞：2
• 许可证：apache-2.0
• 语言：en, zh
• 基于：Qwen/Qwen3.8-27B
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, qwen3.8, nvfp4, modelopt, blackwell, rtx-5090, vllm, quantization, conversational

链接

• 模型：https://huggingface.co/IteraCompute/Qwen3.8-27B-NVFP4
• 文件：https://huggingface.co/IteraCompute/Qwen3.8-27B-NVFP4/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download IteraCompute/Qwen3.8-27B-NVFP4

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。