Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
DeepSeek 的 685B 开源推理模型,用稀疏注意力处理长上下文,聊天模板让它能一边思考一边调用工具。适合运行大模型和构建智能体的团队。
DeepSeek-V3.2 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download deepseek-ai/DeepSeek-V3.2
DeepSeek-V3.2 是 DeepSeek 的 685B 文本模型,基于 DeepSeek-V3.2-Exp-Base。它想把效率和强大的推理与智能体能力结合起来。制作者点出三项改变:用于长上下文的稀疏注意力方法 DSA、规模更大的强化学习阶段,以及一个为工具使用合成训练任务的大型流水线。模型卡还描述了一个更高算力的版本 DeepSeek-V3.2-Speciale。
如果你是托管超大开源模型的机器学习团队,或者是构建必须边推理边调用工具的智能体的开发者,它很适合你。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 软件开发 | 智能体构建者 | 构建一边推理一边调用工具的助手 | 新的聊天模板加入了带工具的思考 |
| 研究 | 核查模型说法的团队 | 审阅制作者发布的比赛提交内容 | 模型卡附有 IOI、ICPC World Finals、IMO 和 CMO 的文件供核查 |
| 平台工程 | 托管开源模型的团队 | 用高效的注意力方法部署大模型 | DSA 的设计目标是降低长输入的算力 |
如果你没有多 GPU 服务器,可以跳过它,因为权重约有 685 GB。
| Use case | Who | What they get back |
|---|---|---|
| 使用工具的智能体 | 开发者 | 一个能在工具调用之间进行推理的模型 |
| 长上下文工作 | 平台团队 | 按制作者的说法,稀疏注意力带来更低的算力 |
| 竞赛类题目 | 研究者 | 放在文件夹里、他人可以核实的提交内容 |
你需要 Python、很大的存储空间,以及支持这个模型的运行时。
pip install -U huggingface_hub hf download deepseek-ai/DeepSeek-V3.2
聊天模板和早期版本相比有变化。它有新的工具调用格式,以及带工具的思考功能。仓库里有一个 encoding 文件夹,里面有 Python 脚本和测试用例。它们展示了如何把 OpenAI 风格的消息变成模型输入,以及如何解析模型的文本输出。模型卡的示例在导入行之后被截断了:
import transformers # encoding/encoding_dsv32.py from encoding_dsv32 import encode_messages, parse_message_from_completion_text
| Tool | What it does |
|---|---|
| encode_messages | 把 OpenAI 风格的消息变成给模型的输入字符串 |
| parse_message_from_completion_text | 把模型的文本输出读回成一条消息 |
| encoding folder | 存放模板的 Python 脚本和测试用例 |
| olympiad_cases folder | 存放为核查而发布的比赛提交内容 |
你构建一个用搜索工具回答问题的智能体。你用模板对聊天记录编码,这样模型就能思考、调用工具、再思考。然后你把它的回复解析回一条消息。
把它想成一个超大的推理引擎,经过训练后会把使用工具当作思考的一部分。第一个小尝试是读一读编码脚本,看一条消息如何变成模型输入。
稀疏注意力让每个词元只看上下文中被选中的一部分,从而降低长输入的算力。制作者说这样在降低成本的同时保持了质量。它还说高算力版本在推理上超过 GPT-5,并与 Gemini-3.0-Pro 相当。这些是制作者的说法,而图表是在这里看不到的图片。
模型卡的记录里,权重有两种大小。
| Format | Size |
|---|---|
| F8_E4M3 | 约 685 GB |
| 4-bit,估算 | 约 343 GB |
DeepSeek 的 685B 开源推理模型,用稀疏注意力处理长上下文,聊天模板让它能一边思考一边调用工具。适合运行大模型和构建智能体的团队。
由 deepseek-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:DeepSeek-V3.2 是 DeepSeek 的 685B 文本模型,基于 DeepSeek-V3.2-Exp-Base。它想把效率和强大的推理与智能体能力结合起来。制作者点出三项改变:用于长上下文的稀疏注意力方法 DSA、规模更大的强化学习阶段,以及一个为工具使用合成训练任务的大型流水线。模型卡还描述了一个更高算力的版本 DeepSeek-V3.2-Speciale。
适合谁:如果你是托管超大开源模型的机器学习团队,或者是构建必须边推理边调用工具的智能体的开发者,它很适合你。
Industry | Who uses it | How they use it | Example
软件开发 | 智能体构建者 | 构建一边推理一边调用工具的助手 | 新的聊天模板加入了带工具的思考
研究 | 核查模型说法的团队 | 审阅制作者发布的比赛提交内容 | 模型卡附有 IOI、ICPC World Finals、IMO 和 CMO 的文件供核查
平台工程 | 托管开源模型的团队 | 用高效的注意力方法部署大模型 | DSA 的设计目标是降低长输入的算力
如果你没有多 GPU 服务器,可以跳过它,因为权重约有 685 GB。
用在哪里:
Use case | Who | What they get back
使用工具的智能体 | 开发者 | 一个能在工具调用之间进行推理的模型
长上下文工作 | 平台团队 | 按制作者的说法,稀疏注意力带来更低的算力
竞赛类题目 | 研究者 | 放在文件夹里、他人可以核实的提交内容
如何设置:你需要 Python、很大的存储空间,以及支持这个模型的运行时。
pip install -U huggingface_hub
hf download deepseek-ai/DeepSeek-V3.2
如何使用:聊天模板和早期版本相比有变化。它有新的工具调用格式,以及带工具的思考功能。仓库里有一个 encoding 文件夹,里面有 Python 脚本和测试用例。它们展示了如何把 OpenAI 风格的消息变成模型输入,以及如何解析模型的文本输出。模型卡的示例在导入行之后被截断了:
import transformers
# encoding/encoding_dsv32.py
from encoding_dsv32 import encode_messages, parse_message_from_completion_text
Tool | What it does
encode_messages | 把 OpenAI 风格的消息变成给模型的输入字符串
parse_message_from_completion_text | 把模型的文本输出读回成一条消息
encoding folder | 存放模板的 Python 脚本和测试用例
olympiad_cases folder | 存放为核查而发布的比赛提交内容
示例:你构建一个用搜索工具回答问题的智能体。你用模板对聊天记录编码,这样模型就能思考、调用工具、再思考。然后你把它的回复解析回一条消息。
新手与专家:把它想成一个超大的推理引擎,经过训练后会把使用工具当作思考的一部分。第一个小尝试是读一读编码脚本,看一条消息如何变成模型输入。
稀疏注意力让每个词元只看上下文中被选中的一部分,从而降低长输入的算力。制作者说这样在降低成本的同时保持了质量。它还说高算力版本在推理上超过 GPT-5,并与 Gemini-3.0-Pro 相当。这些是制作者的说法,而图表是在这里看不到的图片。
用 OpenAI 风格写消息
用模型卡的脚本编码
模型思考,并可能调用工具
用模型卡的解析器解析回复
把工具结果送回去并继续
注意事项:模型卡的记录里,权重有两种大小。
Title: 权重大小
Format | Size
F8_E4M3 | 约 685 GB
4-bit,估算 | 约 343 GB
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download deepseek-ai/DeepSeek-V3.2
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| DeepSeek-V3.2 本页 | 8,260,197 | 1,597 | 685B | mit | |
| DeepSeek-V4.1-Flash共有 fp8 · text-generation · transformers | 1,759,335 | 4,949 | 763B | mit | |
| DeepSeek-R1共有 fp8 · text-generation · transformers | 1,599,170 | 14,451 | 684B | mit | |
| DeepSeek-V4-Flash共有 fp8 · text-generation · transformers | 1,192,571 | 2,393 | 291B | mit | |
| DeepSeek-V4.1-Flash-1017共有 fp8 · text-generation · transformers | 398,161 | 5,600 | 763B | mit | |
| Kolibri-1共有 fp8 · text-generation · transformers | 13,319 | 1,011 | 78.1B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。