Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
这是一个 14.8B 参数的开源模型,难题用思考模式推理,日常聊天用更快的非思考模式回答。适合想用一个模型处理逻辑、代码、智能体和 100 多种语言的开发者。
Qwen3-14B 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download Qwen/Qwen3-14B
Qwen3-14B 是 Qwen 团队的 14.8B 参数语言模型,属于 Qwen3 这一代,这一代包含稠密模型和混合专家模型。同一个模型可以在思考模式和非思考模式之间切换,前者用于逻辑、数学和代码,后者用于普通聊天。它基于 Qwen3-14B-Base 模型。
适合想用一个开源模型处理推理、编程、智能体和多语言任务的开发者和团队,许可证为 Apache 2.0。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 软件 | 开发者 | 用思考模式处理代码和逻辑问题 | 一步一步排查一个棘手的 bug |
| AI 产品 | 智能体开发者 | 在智能体循环里把模型接到外部工具 | 一个会调用搜索工具的助手 |
| 本地化 | 译者 | 在 100 多种语言和方言之间翻译并遵循指令 | 为一份英文备忘录写泰语摘要 |
| 内容 | 写作者 | 用非思考模式快速完成创意和聊天回复 | 一段快速的角色扮演对话 |
如果你想在配置较低的笔记本上用小模型,可以跳过它,因为 BF16 权重约 29.5 GB,4-bit 也要约 7.4 GB。
它可以在带 transformers 的 Python 里运行,也可以放在 API 服务器后面,或用本地应用运行。
| Use case | Who | What they get back |
|---|---|---|
| 复杂推理 | 开发者 | 一段思考内容,后面跟着最终答案 |
| 调用工具的智能体 | 智能体开发者 | 在思考和非思考模式下都能调用外部工具 |
| 多语言工作 | 译者 | 100 多种语言的翻译和指令遵循 |
| 日常聊天 | 所有人 | 关掉思考后的快速回复 |
你需要 Python,并且有足够的内存放下模型权重。
pip install -U huggingface_hub hf download Qwen/Qwen3-14B
在 Python 里,你按名称加载分词器和模型,构造消息列表,再用 enable_thinking 参数选择模式并应用聊天模板。如果想改成提供 API,就运行下面的命令之一。
from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "Qwen/Qwen3-14B"
python -m sglang.launch_server --model-path Qwen/Qwen3-14B --reasoning-parser qwen3 vllm serve Qwen/Qwen3-14B --enable-reasoning --reasoning-parser deepseek_r1
| Tool | What it does |
|---|---|
| enable_thinking | 在思考和非思考模式之间切换,默认值为 True |
| apply_chat_template | 把消息列表转成一条提示词字符串 |
| generate | 生成新的 token |
| sglang.launch_server | 启动带推理解析器的 OpenAI 兼容服务器 |
| vllm serve | 启动带推理解析器的 OpenAI 兼容服务器 |
开启思考模式后,你问:"Explain in a few lines how a language model writes text." 输出里有思考部分和最终答案部分,模型卡里的代码会在结束思考的 token 处把两部分拆开,方便你分别打印。
如果你是新手,先下载文件,在 Python 里开着思考模式加载模型,问一个很短的问题。然后把开关关掉,比较回复到达的速度。
如果你熟悉这个领域:这是一个因果语言模型,有 40 层,使用分组查询注意力,有 40 个查询头和 8 个键值头。约有 132 亿参数不在词嵌入里。原生上下文是 32,768 个 token,用 YaRN 可以扩展到 131,072。推理解析器把思考文本和最终回复分开。
原生上下文是 32,768 个 token,要用到 131,072 个 token 需要 YaRN。模型卡的示例把 max_new_tokens 设成 32768,所以长时间思考可能产生很多文字。
这是一个 14.8B 参数的开源模型,难题用思考模式推理,日常聊天用更快的非思考模式回答。适合想用一个模型处理逻辑、代码、智能体和 100 多种语言的开发者。
由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Qwen3-14B 是 Qwen 团队的 14.8B 参数语言模型,属于 Qwen3 这一代,这一代包含稠密模型和混合专家模型。同一个模型可以在思考模式和非思考模式之间切换,前者用于逻辑、数学和代码,后者用于普通聊天。它基于 Qwen3-14B-Base 模型。
适合谁:适合想用一个开源模型处理推理、编程、智能体和多语言任务的开发者和团队,许可证为 Apache 2.0。
Industry | Who uses it | How they use it | Example
软件 | 开发者 | 用思考模式处理代码和逻辑问题 | 一步一步排查一个棘手的 bug
AI 产品 | 智能体开发者 | 在智能体循环里把模型接到外部工具 | 一个会调用搜索工具的助手
本地化 | 译者 | 在 100 多种语言和方言之间翻译并遵循指令 | 为一份英文备忘录写泰语摘要
内容 | 写作者 | 用非思考模式快速完成创意和聊天回复 | 一段快速的角色扮演对话
如果你想在配置较低的笔记本上用小模型,可以跳过它,因为 BF16 权重约 29.5 GB,4-bit 也要约 7.4 GB。
用在哪里:它可以在带 transformers 的 Python 里运行,也可以放在 API 服务器后面,或用本地应用运行。
Use case | Who | What they get back
复杂推理 | 开发者 | 一段思考内容,后面跟着最终答案
调用工具的智能体 | 智能体开发者 | 在思考和非思考模式下都能调用外部工具
多语言工作 | 译者 | 100 多种语言的翻译和指令遵循
日常聊天 | 所有人 | 关掉思考后的快速回复
如何设置:你需要 Python,并且有足够的内存放下模型权重。
pip install -U huggingface_hub
hf download Qwen/Qwen3-14B
如何使用:在 Python 里,你按名称加载分词器和模型,构造消息列表,再用 enable_thinking 参数选择模式并应用聊天模板。如果想改成提供 API,就运行下面的命令之一。
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Qwen/Qwen3-14B"
python -m sglang.launch_server --model-path Qwen/Qwen3-14B --reasoning-parser qwen3
vllm serve Qwen/Qwen3-14B --enable-reasoning --reasoning-parser deepseek_r1
Tool | What it does
enable_thinking | 在思考和非思考模式之间切换,默认值为 True
apply_chat_template | 把消息列表转成一条提示词字符串
generate | 生成新的 token
sglang.launch_server | 启动带推理解析器的 OpenAI 兼容服务器
vllm serve | 启动带推理解析器的 OpenAI 兼容服务器
示例:开启思考模式后,你问:"Explain in a few lines how a language model writes text." 输出里有思考部分和最终答案部分,模型卡里的代码会在结束思考的 token 处把两部分拆开,方便你分别打印。
新手与专家:如果你是新手,先下载文件,在 Python 里开着思考模式加载模型,问一个很短的问题。然后把开关关掉,比较回复到达的速度。
如果你熟悉这个领域:这是一个因果语言模型,有 40 层,使用分组查询注意力,有 40 个查询头和 8 个键值头。约有 132 亿参数不在词嵌入里。原生上下文是 32,768 个 token,用 YaRN 可以扩展到 131,072。推理解析器把思考文本和最终回复分开。
用 hf 下载文件
加载模型或启动服务
选择思考或非思考模式
生成 token
把思考内容和最终答案分开
注意事项:原生上下文是 32,768 个 token,要用到 131,072 个 token 需要 YaRN。模型卡的示例把 max_new_tokens 设成 32768,所以长时间思考可能产生很多文字。
Title: 权重大小,单位 GB
BF16: 29.5 GB
4-bit (estimate): 7.4 GB
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download Qwen/Qwen3-14B
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Qwen3-14B 本页 | 12,965,376 | 540 | 14.8B | apache-2.0 | |
| Qwen3-0.6B共有 qwen3 · text-generation · conversational | 19,718,599 | 1,894 | 752M | apache-2.0 | |
| Qwen3-8B共有 qwen3 · text-generation · conversational | 6,269,141 | 2,184 | 8.2B | apache-2.0 | |
| Qwen3-1.7B共有 qwen3 · text-generation · conversational | 3,203,490 | 618 | 2B | apache-2.0 | |
| Qwen3-4B共有 qwen3 · text-generation · conversational | 3,186,531 | 798 | 4B | apache-2.0 | |
| Qwen3-4B-Instruct-2507共有 qwen3 · text-generation · conversational | 2,592,168 | 1,053 | 4B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。