Ornith-1.5-35B-A3B-NVFP4
ornith-ai · 工具包
能写代码、处理终端智能体任务,是每个 token 约用 3B 参数的混合专家模型,这里是 NVFP4 版本。适合想在自己硬件上部署编程模型的开发者。
ornith-ai · 工具包
能写代码、处理终端智能体任务,是每个 token 约用 3B 参数的混合专家模型,这里是 NVFP4 版本。适合想在自己硬件上部署编程模型的开发者。
Sherlock-Comms · 工具包
通过 vLLM 和 DFlash2 推测解码来运行 122B 的 Ornith 1.5 模型,输出头保持未量化。适合有 128 GB 内存的 RTX Spark 笔记本。
RadixArk · 工具包
Qwen3.8-27B 的预量化 NVFP4 版本,能读取文字、图片和视频并用文字回答,通过 SGLang 在 NVIDIA Blackwell 显卡上提供服务。适合在该硬件上运行智能体、聊天机器人和 RAG 的开发者。
nvidia · 工具包
读取文本和图像并输出文本,是 NVIDIA 制作的 DeepSeek-V4.1-Flash 的 NVFP4 精简版本。适合在 NVIDIA Blackwell GPU 上部署智能体、聊天机器人和检索系统的开发者。
IteraCompute · 工具包
用 vLLM 在一块 RTX 5090 上以 NVFP4 运行 Qwen3.8-27B,带校验和验证的下载、FP8 KV 缓存、工具调用和推理支持。适合在 Blackwell GPU 上自托管大模型的开发者。
autotrust · 工具包
在 DGX Spark 上把 Qwen3.8-27B NVFP4 的解码速度提高约 3.9 倍,权重不变,只靠调好的推测解码配置。适合在 Blackwell GPU 上用 vLLM 部署它的团队。
primitive-ai · 工具包
为 Blackwell GPU 提供小米 MiMo-V2.6-Flash-RL 的 NVFP4 版本,专家权重值与官方发布完全一致,在两块 96 GB 显卡上吞吐更高。适合自托管大模型的人。
reflection · 工具包
这个模型读写文本,上下文 1M 个 token,主打编程、智能体调用工具和数学推理,是 NVFP4 形式的 501B 参数混合专家模型。适合有多 GPU 服务器、想用开源模型的团队。
deep-principle · 工具包
Hydrogen-1.0 的 4-bit NVFP4 版本,这是 Deep Principle 的 381B 科学与研究助手模型,基于 GLM-5.3。需要多 GPU 的 NVIDIA Blackwell 服务器,上下文为 1M 词元。
ornith-ai · 工具包
提供 Ornith-1.5-122B 的 NVFP4 量化副本,这是一个面向单 GPU 使用、在编程测试里表现突出的 122B 混合专家文本模型。适合自己托管大模型的开发者。
nvidia · 工具包
NVIDIA 制作的 DeepSeek AI 的 DeepSeek-V4.1-Flash-1017 的 NVFP4 量化版本,一个面向 NVIDIA Blackwell GPU 的超大多模态混合专家模型。
ErtasAI · 工具包
压缩到 22 GB 的开放权重医学语言模型,最擅长临床计算和从长病历中提取事实。适合在 NVIDIA Blackwell GPU 上构建医疗 AI 产品的团队。
nvidia · 工具包
NVIDIA 用 Model Optimizer 制作的、预先量化好的 Alibaba Qwen3.6-35B-A3B 的 NVFP4 版本。它能处理文本、图片和视频,可在 Hopper 或 Blackwell GPU 上用 vLLM 运行。
nvidia · 工具包
提供 NVIDIA 对 ZAI 的 GLM-5.3-Flash 做的 NVFP4 量化版,这是一个用于推理、编码和智能体任务的多模态模型。适合在 Blackwell GPU 上用 vLLM 或 SGLang 部署的开发者。
nvidia · 工具包
NVIDIA 把阿里巴巴 Qwen3.8-27B 压缩成 4 位 NVFP4 的版本,用 Model Optimizer 制作,面向 Blackwell GPU,输入文字、图片和视频,输出文字。