Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
Hydrogen-1.0 的 4-bit NVFP4 版本,这是 Deep Principle 的 381B 科学与研究助手模型,基于 GLM-5.3。需要多 GPU 的 NVIDIA Blackwell 服务器,上下文为 1M 词元。
Hydrogen-1.0 NVFP4 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download deep-principle/Hydrogen-1.0-NVFP4
这是 Hydrogen-1.0 的 NVFP4 量化版本,Hydrogen-1.0 是 Deep Principle 的文本模型,基于 GLM-5.3。它用来帮助解答科学问题、解释推导过程,并整理开放性研究问题的回答。它有 381B 参数、1M 词元的上下文和 128K 词元的输出上限。权重约 381 GB。模型卡说,回答必须对照每个任务的假设和证据来检验。
如果你的研究团队或基础设施工程师有多 GPU 的 NVIDIA Blackwell 服务器,想在自己的硬件上运行一个大型科学助手,它很适合你。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 化学 | 计算化学家 | 配合模型和外部工具探索反应网络 | 制作者的博客把反应网络探索列为一个演示 |
| 分析科学 | 光谱学团队 | 逐步完成结构分析 | 博客列出了 NMR 结构分析 |
| 研究规划 | 实验室负责人 | 起草并完善实验方案 | 博客列出了实验规划 |
如果你没有多 GPU 的 Blackwell 机器,可以跳过它,因为这个版本面向那种运行时,而且团队只在 8x B300 上测试过。
| Use case | Who | What they get back |
|---|---|---|
| 科学问题与推导 | 研究者 | 需要专家复核的文字解释 |
| 开放性研究问题 | 研究团队 | 需要对照证据检验的有条理回答 |
| 长文档 | 分析师 | 按模型卡所述,最多 1M 词元的上下文空间 |
你需要一台 Blackwell 服务器、一个兼容的运行时,以及很大的存储空间。
pip install -U huggingface_hub hf download deep-principle/Hydrogen-1.0-NVFP4
模型卡给出了在 8 个 GPU 上用 SGLang 的一条启动命令。它把部署的上下文限制在 262144 词元,低于模型所说的 1M。服务器随后以 hydrogen-1.0 这个名字作答。
python -m sglang.launch_server \ --model-path deep-principle/Hydrogen-1.0-NVFP4 \ --served-model-name hydrogen-1.0 \ --tp 8 --trust-remote-code \ --quantization modelopt_fp4 --kv-cache-dtype fp8_e4m3 \ --reasoning-parser glm45 --tool-call-parser glm47 \ --context-length 262144 --mem-fraction-static 0.85 \ --chunked-prefill-size 16384 \ --host 0.0.0.0 --port 8001
| Tool | What it does |
|---|---|
| SGLang | 通过 OpenAI 风格的 API 提供检查点服务 |
| NVIDIA ModelOpt | 制作者用来量化权重的工具 |
| openai Python package | 调用正在运行的服务器的客户端 |
| config.json | 保存量化设置,所以要和权重放在一起 |
你用上面的命令启动服务器,再从 OpenAI 风格的客户端向它提一个关于反应机理的问题。模型卡强调,这样的设置不会替你下载或加载权重,也不代表有托管端点。
把它想成一个被压缩过、能装进一机架 GPU 的超大研究助手。第一个小尝试是在规划硬件之前,先读一遍模型卡的用法部分。
模型卡说,路由专家以 NVFP4 存储并带有校准过的激活缩放,前三层稠密层使用 FP8。其余部分保持 BF16:共享专家、注意力、路由器和嵌入,以及输出头和 MTP 层。它还设置了 FP8 的 KV 缓存。请使用支持这种确切格式的运行时。
这个仓库是同一个模型三个版本中的一个。
| Version | Hardware |
|---|---|
| BF16,未量化 | 需要充足的设备和主机内存 |
| NVFP4,就是这个 | NVIDIA Blackwell,在 8x B300 上测试过 |
| MXFP4 | AMD Instinct,在 MI350X 上配合 ATOM 测试过 |
| Limit | Value |
|---|---|
| 上下文长度 | 1M 词元 |
| 最大输出长度 | 128K 词元 |
| 启动命令里的上下文 | 262144 词元 |
Hydrogen-1.0 的 4-bit NVFP4 版本,这是 Deep Principle 的 381B 科学与研究助手模型,基于 GLM-5.3。需要多 GPU 的 NVIDIA Blackwell 服务器,上下文为 1M 词元。
由 deep-principle 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:这是 Hydrogen-1.0 的 NVFP4 量化版本,Hydrogen-1.0 是 Deep Principle 的文本模型,基于 GLM-5.3。它用来帮助解答科学问题、解释推导过程,并整理开放性研究问题的回答。它有 381B 参数、1M 词元的上下文和 128K 词元的输出上限。权重约 381 GB。模型卡说,回答必须对照每个任务的假设和证据来检验。
适合谁:如果你的研究团队或基础设施工程师有多 GPU 的 NVIDIA Blackwell 服务器,想在自己的硬件上运行一个大型科学助手,它很适合你。
Industry | Who uses it | How they use it | Example
化学 | 计算化学家 | 配合模型和外部工具探索反应网络 | 制作者的博客把反应网络探索列为一个演示
分析科学 | 光谱学团队 | 逐步完成结构分析 | 博客列出了 NMR 结构分析
研究规划 | 实验室负责人 | 起草并完善实验方案 | 博客列出了实验规划
如果你没有多 GPU 的 Blackwell 机器,可以跳过它,因为这个版本面向那种运行时,而且团队只在 8x B300 上测试过。
用在哪里:
Use case | Who | What they get back
科学问题与推导 | 研究者 | 需要专家复核的文字解释
开放性研究问题 | 研究团队 | 需要对照证据检验的有条理回答
长文档 | 分析师 | 按模型卡所述,最多 1M 词元的上下文空间
如何设置:你需要一台 Blackwell 服务器、一个兼容的运行时,以及很大的存储空间。
pip install -U huggingface_hub
hf download deep-principle/Hydrogen-1.0-NVFP4
如何使用:模型卡给出了在 8 个 GPU 上用 SGLang 的一条启动命令。它把部署的上下文限制在 262144 词元,低于模型所说的 1M。服务器随后以 hydrogen-1.0 这个名字作答。
python -m sglang.launch_server \
--model-path deep-principle/Hydrogen-1.0-NVFP4 \
--served-model-name hydrogen-1.0 \
--tp 8 --trust-remote-code \
--quantization modelopt_fp4 --kv-cache-dtype fp8_e4m3 \
--reasoning-parser glm45 --tool-call-parser glm47 \
--context-length 262144 --mem-fraction-static 0.85 \
--chunked-prefill-size 16384 \
--host 0.0.0.0 --port 8001
Tool | What it does
SGLang | 通过 OpenAI 风格的 API 提供检查点服务
NVIDIA ModelOpt | 制作者用来量化权重的工具
openai Python package | 调用正在运行的服务器的客户端
config.json | 保存量化设置,所以要和权重放在一起
示例:你用上面的命令启动服务器,再从 OpenAI 风格的客户端向它提一个关于反应机理的问题。模型卡强调,这样的设置不会替你下载或加载权重,也不代表有托管端点。
新手与专家:把它想成一个被压缩过、能装进一机架 GPU 的超大研究助手。第一个小尝试是在规划硬件之前,先读一遍模型卡的用法部分。
模型卡说,路由专家以 NVFP4 存储并带有校准过的激活缩放,前三层稠密层使用 FP8。其余部分保持 BF16:共享专家、注意力、路由器和嵌入,以及输出头和 MTP 层。它还设置了 FP8 的 KV 缓存。请使用支持这种确切格式的运行时。
下载权重和配置文件
在 Blackwell 服务器上启动 SGLang
向 API 发送一个科学问题
模型推理并写出回答
对照证据检验回答
注意事项:这个仓库是同一个模型三个版本中的一个。
Title: Hydrogen-1.0 的各个版本
Version | Hardware
BF16,未量化 | 需要充足的设备和主机内存
NVFP4,就是这个 | NVIDIA Blackwell,在 8x B300 上测试过
MXFP4 | AMD Instinct,在 MI350X 上配合 ATOM 测试过
Title: 模型卡里的限制
Limit | Value
上下文长度 | 1M 词元
最大输出长度 | 128K 词元
启动命令里的上下文 | 262144 词元
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download deep-principle/Hydrogen-1.0-NVFP4
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Hydrogen-1.0 NVFP4 本页 | 10,959 | 14 | 381B | mit | |
| Beam-1.0-501B-A23B-NVFP4共有 nvfp4 · modelopt · 8-bit | 6,615 | 45 | 255B | apache-2.0 | |
| Qwen3.8-27B-NVFP4共有 nvfp4 · modelopt · 8-bit | 979,445 | 126 | 18.2B | apache-2.0 | |
| MedErtas v0.1 27B LS共有 nvfp4 · modelopt · text-generation | 4,187 | 6 | 18.2B | apache-2.0 | |
| MiMo-V2.6-Flash-RL-NVFP4共有 nvfp4 · modelopt · text-generation | 298 | 4 | 159B | mit | |
| Qwen3.6-35B-A3B-NVFP4共有 modelopt · 8-bit · text-generation | 4,104,345 | 678 | 18.7B | apache-2.0 |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。