Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
Deep Principle 的 384B 科学助手 Hydrogen-1.0 的 MXFP4 量化版本,面向 AMD Instinct 硬件。适合想用文本模型处理科学问题和研究规划的实验室。
Hydrogen-1.0-MXFP4 是一款工具包,属于研究类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download deep-principle/Hydrogen-1.0-MXFP4
Hydrogen-1.0-MXFP4 是 Hydrogen-1.0 的 MXFP4 量化版本,这是 Deep Principle 基于 GLM-5.3 制作的文本模型。它用来帮助回答科学问题、解释推导,并整理开放研究问题的回答。记录里列出 384B 参数和 MIT 许可证。
拥有大型 AMD Instinct 硬件,想要一个科学推理助手的研究团队。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 化学 | 研究化学家 | 探索反应网络并规划实验 | 一个关于反应路径的问题 |
| 材料科学 | 实验室团队 | 处理推导和计算 | 一步一步的推导 |
| 学术界 | 研究者 | 为开放研究问题起草分析 | 一项研究的结构化方案 |
| AI 平台 | 基础设施团队 | 在 AMD 硬件上提供大型开放模型服务 | 内部科学助手 |
如果你没有 AMD Instinct 硬件,可以跳过它,因为这个版本是面向它的。非科学工作也可以跳过。
| Use case | Who | What they get back |
|---|---|---|
| 科学问题 | 研究者 | 需要复核的解释和推理过程 |
| 实验规划 | 实验室团队 | 结构化的实验方案 |
| 长文档 | 分析师 | 1M 词元的上下文,取决于你的配置 |
pip install -U huggingface_hub hf download deep-principle/Hydrogen-1.0-MXFP4
启动服务,然后像调用任何聊天 API 一样,用模型 ID hydrogen-1.0 调用它。模型卡说 server-port 参数设置 HTTP 端口,普通的 port 参数用于引擎内部通信。
python -m atom.entrypoints.openai_server \ --model deep-principle/Hydrogen-1.0-MXFP4 \ --served-model-name hydrogen-1.0 \ --trust-remote-code --kv_cache_dtype fp8 -tp 4 \ --host 0.0.0.0 --server-port 8001
你通过聊天 API 问一个关于反应机理的问题。模型回复解释和推理。模型卡强调,输出需要对照任务的假设做科学复核。
如果你是新手,这个模型需要很强的硬件,所以先读模型卡的部署说明再试。把它的回答当作需要专家检查的草稿。
如果你懂这个领域,模型卡说注意力、路由器、嵌入和 lm_head 保持 BF16,而 MLP 和专家用 MXFP4,分组大小 32,缩放为 E8M0,用 AMD Quark 量化。在它的 TP4 测试里,128 个并发长请求触发了 KV 缓存驱逐,质量下降,而 48 个时一切正常。
Deep Principle 的 384B 科学助手 Hydrogen-1.0 的 MXFP4 量化版本,面向 AMD Instinct 硬件。适合想用文本模型处理科学问题和研究规划的实验室。
由 deep-principle 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Hydrogen-1.0-MXFP4 是 Hydrogen-1.0 的 MXFP4 量化版本,这是 Deep Principle 基于 GLM-5.3 制作的文本模型。它用来帮助回答科学问题、解释推导,并整理开放研究问题的回答。记录里列出 384B 参数和 MIT 许可证。
适合谁:拥有大型 AMD Instinct 硬件,想要一个科学推理助手的研究团队。
Industry | Who uses it | How they use it | Example
化学 | 研究化学家 | 探索反应网络并规划实验 | 一个关于反应路径的问题
材料科学 | 实验室团队 | 处理推导和计算 | 一步一步的推导
学术界 | 研究者 | 为开放研究问题起草分析 | 一项研究的结构化方案
AI 平台 | 基础设施团队 | 在 AMD 硬件上提供大型开放模型服务 | 内部科学助手
如果你没有 AMD Instinct 硬件,可以跳过它,因为这个版本是面向它的。非科学工作也可以跳过。
用在哪里:
Use case | Who | What they get back
科学问题 | 研究者 | 需要复核的解释和推理过程
实验规划 | 实验室团队 | 结构化的实验方案
长文档 | 分析师 | 1M 词元的上下文,取决于你的配置
如何设置:
pip install -U huggingface_hub
hf download deep-principle/Hydrogen-1.0-MXFP4
如何使用:启动服务,然后像调用任何聊天 API 一样,用模型 ID hydrogen-1.0 调用它。模型卡说 server-port 参数设置 HTTP 端口,普通的 port 参数用于引擎内部通信。
python -m atom.entrypoints.openai_server \
--model deep-principle/Hydrogen-1.0-MXFP4 \
--served-model-name hydrogen-1.0 \
--trust-remote-code --kv_cache_dtype fp8 -tp 4 \
--host 0.0.0.0 --server-port 8001
示例:你通过聊天 API 问一个关于反应机理的问题。模型回复解释和推理。模型卡强调,输出需要对照任务的假设做科学复核。
新手与专家:如果你是新手,这个模型需要很强的硬件,所以先读模型卡的部署说明再试。把它的回答当作需要专家检查的草稿。
如果你懂这个领域,模型卡说注意力、路由器、嵌入和 lm_head 保持 BF16,而 MLP 和专家用 MXFP4,分组大小 32,缩放为 E8M0,用 AMD Quark 量化。在它的 TP4 测试里,128 个并发长请求触发了 KV 缓存驱逐,质量下降,而 48 个时一切正常。
Hydrogen-1.0 基础模型
AMD Quark MXFP4 量化
AMD Instinct 上的 ATOM 服务
聊天 API 回答
Title: 团队 TP4 测试中的并发长请求数
质量正常: 48
缓存池占满、质量下降: 128
注意事项:
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download deep-principle/Hydrogen-1.0-MXFP4
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Hydrogen-1.0-MXFP4 本页 | 12,804 | 16 | 384B | mit | |
| DeepSeek-V4-Pro共有 8-bit · text-generation · safetensors | 322,162 | 5,702 | 1.6T | mit | |
| Quark共有 science · conversational · safetensors | 107 | 7 | 9.7B | apache-2.0 | |
| VLX-Seek-1.5-10B共有 text-generation · conversational · safetensors | 137,772 | 39 | 10B | apache-2.0 | |
| Sage-A1.5共有 text-generation · conversational · safetensors | 22,224 | 404 | 36B | apache-2.0 | |
| K2-Horizon-3.7B共有 text-generation · conversational · safetensors | 15,489 | 115 | 5.1B | apache-2.0 |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
AbdomenAtlas · 工具包
在 CT 扫描上检测并勾画 9 个器官的肿瘤,使用从放射学报告中学习的 R-Super 方法训练。这是面向医学影像团队的研究模型,采用非商业许可。
dBenf · 工具包
回答关于卫星图像块的类型化问题,使用 Sentinel-2 的全部 12 个波段,为每个选项返回概率,不生成文字。这是 Qwen3.5-0.8B 的微调版本,适合地球观测研究者。
zimmerk4 · 工具包
用一个在 JAX 物理模拟器里学会的小型策略网络,从头到尾通关游戏 Getting Over It。适合强化学习研究者和好奇的动手爱好者。