Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
作为编程智能体模型使用,总参数 80B、激活参数 3B,上下文 256K。适合在 CLI 和 IDE 工具里运行智能体、并想自己托管模型的开发者。
Qwen3-Coder-Next 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download Qwen/Qwen3-Coder-Next
Qwen3-Coder-Next 是 Qwen 团队推出的开放权重语言模型,面向编程智能体和本地开发。它总共有 80B 参数,每个 token 只激活 3B。模型卡称它的表现可与激活参数多 10 到 20 倍的模型相当。
想自己托管编程智能体模型,并接入现有工具的开发者和团队。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 软件 | 开发者 | 让编程智能体对接本地模型 | 让智能体编辑项目里的文件 |
| 开发工具 | 平台团队 | 在兼容 OpenAI 的 API 后面提供模型服务 | 让 IDE 助手指向这个端点 |
| 研究 | AI 工程师 | 研究混合专家结构的编程模型 | 和其他编程模型做比较 |
如果你没有多 GPU 或大内存的机器,可以跳过自己托管。
| Use case | Who | What they get back |
|---|---|---|
| 编程智能体 | 开发者 | 能规划、调用工具并从失败中恢复的智能体 |
| 本地开发 | 开发者 | 来自你自己机器上模型的代码帮助 |
| API 托管 | 平台团队 | 一个兼容 OpenAI 的端点 |
pip install -U huggingface_hub hf download Qwen/Qwen3-Coder-Next
要提供服务,模型卡给出了这两条 SGLang 命令。
pip install 'sglang[all]>=v0.5.8' python -m sglang.launch_server --model Qwen/Qwen3-Coder-Next --port 30000 --tp-size 2 --tool-call-parser qwen3_coder
通过聊天模板发送一条用户消息,生成,再解码新的 token。如果内存不够,就缩短上下文,例如缩到 32,768。
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Qwen/Qwen3-Coder-Next"
# load the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
# prepare the model input
prompt = "Write a quick sort algorithm."
messages = [
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
# conduct text completion
generated_ids = model.generate(
**model_inputs,
max_new_tokens=65536
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
content = tokenizer.decode(output_ids, skip_special_tokens=True)
print("content:", content)| Tool | What it does |
|---|---|
| sglang.launch_server | 启动兼容 OpenAI 的模型服务器 |
| --tool-call-parser qwen3_coder | 解析模型的工具调用 |
| --port 30000 | 设置服务器监听的端口 |
你原样运行这段代码,它请模型写一个快速排序算法。脚本会在 content 标签后打印模型的回答。
如果你是新手,要知道这个模型是为智能体设计的,所以用上面列出的托管工具比自己托管更容易上手。权重需要大量内存。
如果你是专家,模型交替使用 Gated DeltaNet 和 Gated Attention 层,每层后面接一个混合专家。模型卡列出 48 层、512 个专家(激活 10 个,共享 1 个),以及原生 262,144 个 token 的上下文。
这个模型只支持非思考模式,不写 think 块。
作为编程智能体模型使用,总参数 80B、激活参数 3B,上下文 256K。适合在 CLI 和 IDE 工具里运行智能体、并想自己托管模型的开发者。
由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Qwen3-Coder-Next 是 Qwen 团队推出的开放权重语言模型,面向编程智能体和本地开发。它总共有 80B 参数,每个 token 只激活 3B。模型卡称它的表现可与激活参数多 10 到 20 倍的模型相当。
适合谁:想自己托管编程智能体模型,并接入现有工具的开发者和团队。
Industry | Who uses it | How they use it | Example
软件 | 开发者 | 让编程智能体对接本地模型 | 让智能体编辑项目里的文件
开发工具 | 平台团队 | 在兼容 OpenAI 的 API 后面提供模型服务 | 让 IDE 助手指向这个端点
研究 | AI 工程师 | 研究混合专家结构的编程模型 | 和其他编程模型做比较
如果你没有多 GPU 或大内存的机器,可以跳过自己托管。
用在哪里:
Use case | Who | What they get back
编程智能体 | 开发者 | 能规划、调用工具并从失败中恢复的智能体
本地开发 | 开发者 | 来自你自己机器上模型的代码帮助
API 托管 | 平台团队 | 一个兼容 OpenAI 的端点
如何设置:
pip install -U huggingface_hub
hf download Qwen/Qwen3-Coder-Next
要提供服务,模型卡给出了这两条 SGLang 命令。
pip install 'sglang[all]>=v0.5.8'
python -m sglang.launch_server --model Qwen/Qwen3-Coder-Next --port 30000 --tp-size 2 --tool-call-parser qwen3_coder
如何使用:通过聊天模板发送一条用户消息,生成,再解码新的 token。如果内存不够,就缩短上下文,例如缩到 32,768。
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Qwen/Qwen3-Coder-Next"
# load the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
# prepare the model input
prompt = "Write a quick sort algorithm."
messages = [
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
# conduct text completion
generated_ids = model.generate(
**model_inputs,
max_new_tokens=65536
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
content = tokenizer.decode(output_ids, skip_special_tokens=True)
print("content:", content)
Tool | What it does
sglang.launch_server | 启动兼容 OpenAI 的模型服务器
--tool-call-parser qwen3_coder | 解析模型的工具调用
--port 30000 | 设置服务器监听的端口
示例:你原样运行这段代码,它请模型写一个快速排序算法。脚本会在 content 标签后打印模型的回答。
新手与专家:如果你是新手,要知道这个模型是为智能体设计的,所以用上面列出的托管工具比自己托管更容易上手。权重需要大量内存。
如果你是专家,模型交替使用 Gated DeltaNet 和 Gated Attention 层,每层后面接一个混合专家。模型卡列出 48 层、512 个专家(激活 10 个,共享 1 个),以及原生 262,144 个 token 的上下文。
智能体工具发来一个编程任务
服务器应用聊天模板
每个 token 由 512 个专家中的少数几个处理
回复或工具调用被送回去
注意事项:这个模型只支持非思考模式,不写 think 块。
Title: 模型卡中的参数量
总参数量: 80 十亿
激活参数量: 3 十亿
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download Qwen/Qwen3-Coder-Next
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Qwen3-Coder-Next 本页 | 423,853 | 1,741 | 79.7B | apache-2.0 | |
| Qwen3-0.6B共有 text-generation · conversational · transformers | 19,718,599 | 1,894 | 752M | apache-2.0 | |
| Qwen3-14B共有 text-generation · conversational · transformers | 12,965,376 | 540 | 14.8B | apache-2.0 | |
| Qwen2.5-7B-Instruct共有 text-generation · conversational · transformers | 6,364,238 | 2,494 | 7.6B | apache-2.0 | |
| Qwen3-8B共有 text-generation · conversational · transformers | 6,269,141 | 2,184 | 8.2B | apache-2.0 | |
| gpt-oss-20b共有 text-generation · conversational · transformers | 5,685,450 | 5,299 | 20.9B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。