Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
用一个 1.6T 参数的混合专家模型生成文字,每个令牌激活 49B,最多可读入一百万个令牌。这是 DeepSeek 的预览版,适合能放下约 1,599 GB 权重的团队。
DeepSeek-V4-Pro 是一款工具包,属于研究类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download deepseek-ai/DeepSeek-V4-Pro
DeepSeek-V4-Pro 是 DeepSeek 的一个预览版文本生成模型。它采用混合专家设计,共 1.6T 参数,每次激活其中 49B。它能读入最多一百万个令牌的上下文。较小的同系列模型 DeepSeek-V4-Flash 有 284B 参数,激活 13B。
适合拥有强大硬件、想用开放模型处理长输入、编程和智能体式任务的团队。权重约 1,599 GB,所以普通笔记本或单块显卡无法承受。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| AI 研究 | 实验室 | 研究长上下文的混合专家模型 | 测试模型在超长输入下的表现 |
| 基础设施 | 平台团队 | 在集群上托管一个大型开放模型 | 把权重提供给内部用户使用 |
| 软件 | 开发者 | 在编程和智能体任务上评估它 | 在一个编程任务上把它的输出和另一个模型比较 |
| 文档工作 | 分析人员 | 在一条提示词里输入长篇材料 | 针对一大堆文字提问 |
如果你只有一台机器或预算有限,可以跳过它。同系列里较小的 Flash 模型是更轻的选择。
| 用例 | 适合谁 | 得到什么 |
|---|---|---|
| 长上下文阅读 | 分析人员 | 来自最多一百万个令牌的回答 |
| 编程 | 开发者 | 开放模型写出的代码 |
| 智能体工作 | 智能体构建者 | 适合多步骤任务的模型 |
这需要非常大的存储和内存,所以先核对数字。
pip install -U huggingface_hub hf download deepseek-ai/DeepSeek-V4-Pro
运行步骤在这里看到的内容里被截断了,所以权重就位之后,请按完整的模型卡操作。模型卡提到一个最大推理强度模式,叫 DeepSeek-V4-Pro-Max。
你给模型一份很长的文档,并就它提问。模型卡说这个系列最多读入一百万个令牌,所以整篇文字可以放进一条提示词里。
混合专家模型有很多专门的部分,每个令牌只用其中一些。这就是 1.6T 参数只激活 49B 也能运行的原因。这个模型是为大型服务器准备的,所以第一步很小:下载任何东西之前,先读模型卡和大小数字。
模型卡描述了一种混合注意力设计,把 Compressed Sparse Attention 和 Heavily Compressed Attention 结合起来。在一百万个令牌下,它只需要 DeepSeek-V3.2 单令牌计算量的 27% 和 KV 缓存的 10%。它还用了 Manifold-Constrained Hyper-Connections 和 Muon 优化器。预训练用了超过 32T 个令牌。后训练先用 SFT 和 RL 训练各领域专家,再通过在线策略蒸馏把它们合并。
用一个 1.6T 参数的混合专家模型生成文字,每个令牌激活 49B,最多可读入一百万个令牌。这是 DeepSeek 的预览版,适合能放下约 1,599 GB 权重的团队。
由 deepseek-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:DeepSeek-V4-Pro 是 DeepSeek 的一个预览版文本生成模型。它采用混合专家设计,共 1.6T 参数,每次激活其中 49B。它能读入最多一百万个令牌的上下文。较小的同系列模型 DeepSeek-V4-Flash 有 284B 参数,激活 13B。
适合谁:适合拥有强大硬件、想用开放模型处理长输入、编程和智能体式任务的团队。权重约 1,599 GB,所以普通笔记本或单块显卡无法承受。
行业 | 谁在用 | 怎么用 | 例子
AI 研究 | 实验室 | 研究长上下文的混合专家模型 | 测试模型在超长输入下的表现
基础设施 | 平台团队 | 在集群上托管一个大型开放模型 | 把权重提供给内部用户使用
软件 | 开发者 | 在编程和智能体任务上评估它 | 在一个编程任务上把它的输出和另一个模型比较
文档工作 | 分析人员 | 在一条提示词里输入长篇材料 | 针对一大堆文字提问
如果你只有一台机器或预算有限,可以跳过它。同系列里较小的 Flash 模型是更轻的选择。
用在哪里:
用例 | 适合谁 | 得到什么
长上下文阅读 | 分析人员 | 来自最多一百万个令牌的回答
编程 | 开发者 | 开放模型写出的代码
智能体工作 | 智能体构建者 | 适合多步骤任务的模型
如何设置:这需要非常大的存储和内存,所以先核对数字。
pip install -U huggingface_hub
hf download deepseek-ai/DeepSeek-V4-Pro
如何使用:运行步骤在这里看到的内容里被截断了,所以权重就位之后,请按完整的模型卡操作。模型卡提到一个最大推理强度模式,叫 DeepSeek-V4-Pro-Max。
示例:你给模型一份很长的文档,并就它提问。模型卡说这个系列最多读入一百万个令牌,所以整篇文字可以放进一条提示词里。
新手与专家:混合专家模型有很多专门的部分,每个令牌只用其中一些。这就是 1.6T 参数只激活 49B 也能运行的原因。这个模型是为大型服务器准备的,所以第一步很小:下载任何东西之前,先读模型卡和大小数字。
模型卡描述了一种混合注意力设计,把 Compressed Sparse Attention 和 Heavily Compressed Attention 结合起来。在一百万个令牌下,它只需要 DeepSeek-V3.2 单令牌计算量的 27% 和 KV 缓存的 10%。它还用了 Manifold-Constrained Hyper-Connections 和 Muon 优化器。预训练用了超过 32T 个令牌。后训练先用 SFT 和 RL 训练各领域专家,再通过在线策略蒸馏把它们合并。
在超过 32T 个令牌上预训练
用 SFT 和 RL 训练各领域专家
通过在线策略蒸馏合并它们
为长提示词提供权重服务
Title: 一百万个令牌时 DeepSeek-V4-Pro 相对 DeepSeek-V3.2 的占比
单令牌推理计算量: 27 %
KV 缓存: 10 %
注意事项:
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download deepseek-ai/DeepSeek-V4-Pro
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| DeepSeek-V4-Pro 本页 | 322,162 | 5,702 | 1.6T | mit | |
| Hydrogen-1.0-MXFP4共有 8-bit · text-generation · safetensors | 12,804 | 16 | 384B | mit | |
| VLX-Seek-1.5-10B共有 text-generation · transformers · safetensors | 137,772 | 39 | 10B | apache-2.0 | |
| OpenAI GPT 1共有 text-generation · transformers · safetensors | 45,439 | 325 | 120M | mit | |
| Sage-A1.5共有 text-generation · transformers · safetensors | 22,224 | 404 | 36B | apache-2.0 | |
| K2-Horizon-3.7B共有 text-generation · transformers · safetensors | 15,489 | 115 | 5.1B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
AbdomenAtlas · 工具包
在 CT 扫描上检测并勾画 9 个器官的肿瘤,使用从放射学报告中学习的 R-Super 方法训练。这是面向医学影像团队的研究模型,采用非商业许可。
dBenf · 工具包
回答关于卫星图像块的类型化问题,使用 Sentinel-2 的全部 12 个波段,为每个选项返回概率,不生成文字。这是 Qwen3.5-0.8B 的微调版本,适合地球观测研究者。
zimmerk4 · 工具包
用一个在 JAX 物理模拟器里学会的小型策略网络,从头到尾通关游戏 Getting Over It。适合强化学习研究者和好奇的动手爱好者。