开发者 AI 技能与智能体

Qwen3.8-27B-NVFP4

RadixArk · 工具包

Qwen3.8-27B 的预量化 NVFP4 版本，能读取文字、图片和视频并用文字回答，通过 SGLang 在 NVIDIA Blackwell 显卡上提供服务。适合在该硬件上运行智能体、聊天机器人和 RAG 的开发者。

Qwen3.8-27B-QUASAR-NVFP4

QUASAR-QAT · 工具包

以 4-bit NVFP4 运行 Qwen3.8-27B，仅 19.7 GB，用 QUASAR 方法训练，使它接近完整的 BF16 模型。适合在 NVIDIA Blackwell GPU 上用 vLLM 部署的人。

DeepSeek-V4.1-Flash-NVFP4

nvidia · 工具包

读取文本和图像并输出文本，是 NVIDIA 制作的 DeepSeek-V4.1-Flash 的 NVFP4 精简版本。适合在 NVIDIA Blackwell GPU 上部署智能体、聊天机器人和检索系统的开发者。

Qwen3.8-27B-NVFP4 Deployment Edition

IteraCompute · 工具包

用 vLLM 在一块 RTX 5090 上以 NVFP4 运行 Qwen3.8-27B，带校验和验证的下载、FP8 KV 缓存、工具调用和推理支持。适合在 Blackwell GPU 上自托管大模型的开发者。

Qwen3.8-27B-NVFP4-DGX-SPARK

autotrust · 工具包

在 DGX Spark 上把 Qwen3.8-27B NVFP4 的解码速度提高约 3.9 倍，权重不变，只靠调好的推测解码配置。适合在 Blackwell GPU 上用 vLLM 部署它的团队。

MiMo-V2.6-Flash-RL-NVFP4

primitive-ai · 工具包

为 Blackwell GPU 提供小米 MiMo-V2.6-Flash-RL 的 NVFP4 版本，专家权重值与官方发布完全一致，在两块 96 GB 显卡上吞吐更高。适合自托管大模型的人。

MedErtas v0.1 31B LS

ErtasAI · 工具包

在 vLLM 和 NVIDIA Blackwell GPU 上运行面向医疗领域的语言模型，它是压缩后的 Gemma 4 31B。适合需要在考题、编码和答案核查任务上又快又省的医疗 AI 产品。

Hydrogen-1.0 NVFP4

deep-principle · 工具包

Hydrogen-1.0 的 4-bit NVFP4 版本，这是 Deep Principle 的 381B 科学与研究助手模型，基于 GLM-5.3。需要多 GPU 的 NVIDIA Blackwell 服务器，上下文为 1M 词元。

DeepSeek-V4.1-Flash-1017-NVFP4

nvidia · 工具包

NVIDIA 制作的 DeepSeek AI 的 DeepSeek-V4.1-Flash-1017 的 NVFP4 量化版本，一个面向 NVIDIA Blackwell GPU 的超大多模态混合专家模型。

MedErtas v0.1 27B LS

ErtasAI · 工具包

压缩到 22 GB 的开放权重医学语言模型，最擅长临床计算和从长病历中提取事实。适合在 NVIDIA Blackwell GPU 上构建医疗 AI 产品的团队。

Qwen3.6-35B-A3B-NVFP4

nvidia · 工具包

NVIDIA 用 Model Optimizer 制作的、预先量化好的 Alibaba Qwen3.6-35B-A3B 的 NVFP4 版本。它能处理文本、图片和视频，可在 Hopper 或 Blackwell GPU 上用 vLLM 运行。

GLM-5.3-Flash-NVFP4

nvidia · 工具包

提供 NVIDIA 对 ZAI 的 GLM-5.3-Flash 做的 NVFP4 量化版，这是一个用于推理、编码和智能体任务的多模态模型。适合在 Blackwell GPU 上用 vLLM 或 SGLang 部署的开发者。

DeepSeek-V4.1-Flash-EXL3-3bpw-2x-RTX-PRO-6000

diffbot · 工具包

在两张 96 GB 的 RTX PRO 6000 Blackwell 显卡上用 vLLM 运行 DeepSeek-V4.1-Flash-1017 的 3 位压缩版，适合在自己硬件上部署大型编程和智能体模型的开发者。

Qwen3.8-27B NVFP4

nvidia · 工具包

NVIDIA 把阿里巴巴 Qwen3.8-27B 压缩成 4 位 NVFP4 的版本，用 Model Optimizer 制作，面向 Blackwell GPU，输入文字、图片和视频，输出文字。

DeepSeek-V4.1-Flash-1017-Basalt

jesdga · 工具包

把 DeepSeek V4.1 Flash 打包成单个模型文件供 Basalt 引擎使用，它在一张 NVIDIA Blackwell GPU 上运行，放不下的专家由系统内存承担。支持图片，上下文最长 1,048,576 个词元。