Qwen3.6-35B-A3B-Escha-W2

Qwen3.6-35B-A3B-Escha-W2

用一个 12.3 GB 的 2-bit 版本在本地运行 Qwen3.6-35B-A3B，通过兼容 OpenAI 的 HTTP API 在一张 16 或 24 GB 的 NVIDIA GPU 上提供服务。适合在家里运行大型混合专家模型的人。

由 EschaLabs 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Escha-W2 把 Qwen3.6-35B-A3B 压缩到 2 位。这个基础模型把工作分配给 256 个专家，这个版本由 Escha Labs 制作。权重在磁盘上占 12.3 GB。按模型卡所说，一张 24 GB 的消费级显卡就够了，16 GB 的显卡也能运行，只是并行的请求更少，或者上下文更短。另一个运行时仓库会通过兼容 OpenAI 的 HTTP API 提供服务。

适合谁：想在自己的 NVIDIA 机器上运行大模型，并让现有 OpenAI 风格客户端通过 API 调用它的开发者。

Industry | Who uses it | How they use it | Example
软件开发 | 用本地模型构建产品的开发者 | 在家用 GPU 上部署模型，并让客户端指向它 | 让编程助手连接本地接口运行
小型团队 | 把数据留在内部的团队 | 部署一个支持多路请求的共享模型服务器 | 让几位同事查询同一台机器
研究 | 研究量化的人 | 测试 2-bit 的混合专家模型版本 | 与全精度模型对比

如果你没有 16 GB 以上的 NVIDIA GPU，或者不是 Linux x86-64，可以跳过它，因为模型卡把这些列为要求。Apple Silicon 用户会被指向另一个 MLX 服务器。

用在哪里：这些权重通过 Linux 上的 Escha 运行时提供服务，接口兼容 OpenAI，端口为 30000。

• glibc 2.28 或更新的 Linux x86-64，例如 Ubuntu 20.04 或更新版本
• 从 Ampere 一代到 Blackwell 的 NVIDIA GPU，只需要安装驱动
• Apple Silicon Mac，通过单独的 escha-mlx 服务器
• 任何支持 OpenAI 风格 API 的客户端，例如仓库里的 opencode 示例配置

Use case | Who | What they get back
本地 API 服务器 | 开发者 | 一个在 30000 端口、用于聊天请求的接口
工具调用和结构化输出 | 智能体构建者 | 由 SGLang 引擎支持
单用户解码 | 个人用户 | 在许多显卡上用 ZML 引擎得到更快的长回答

如何设置：先安装 Escha 运行时，再下载模型并启动服务。模型卡警告说有两项要求会悄悄失败，所以也请阅读它的运行时页面。

• 用于 SGLang 引擎的 Python 3.12
• 匹配的 PyTorch 2.9 版本，因为运行时的 wheel 与更新的版本不兼容
• 约 12.3 GB 的磁盘空间

1. 创建 Python 3.12 虚拟环境并安装 Hugging Face 工具。
2. 把 torch 固定在 2.9 版本，使用模型卡上的安装命令。
3. 下载运行时的 sglang 文件夹并安装它的 wheel。
4. 下载这个模型，并用运行时的 serve 脚本启动服务器。

python3.12 -m venv .venv && source .venv/bin/activate
pip install -U pip wheel "huggingface_hub[cli]"
hf download EschaLabs/escha-runtime-qwen3moe --include "sglang/*" --local-dir .

你也可以单独下载这个模型的文件：

pip install -U huggingface_hub
hf download EschaLabs/Qwen3.6-35B-A3B-Escha-W2

如何使用：服务器运行起来后，向它的 OpenAI 风格接口发送请求。模型卡建议使用 SGLang 引擎，除非你有明确的理由选择 ZML。

Engine | Good for | Trade off
sglang | 模型卡数字所用的引擎，支持多路请求、工具和结构化回复 | 需要 Python 3.12
zml | 无需 Python 的单个二进制文件，以及在许多显卡上更快的单用户解码 | 温度大于 0 时更慢，并且需要完整的 24 GB

示例：你启动 SGLang 服务器，再用 OpenAI 风格的客户端向本地接口发送一个聊天请求。模型通过 API 作答，多个请求可以同时运行。

新手与专家：如果你刚接触这类模型，请逐步按运行时页面操作，并使用 SGLang 引擎。先检查你的 GPU 和 Linux 版本是否符合清单。

如果你熟悉这个领域，模型卡说专家层量化为 2 位，每个投影混合使用 2 位和 3 位，稠密层为 int8。ZML 只有在温度为 0 时解码更快，而且首次启动要编译计算图，视显卡不同需要约 75 秒到数分钟。

安装运行时 wheel
下载模型文件
服务器在 30000 端口启动
客户端发送 OpenAI 风格请求

注意事项：模型卡给出了自己的速度数字。ZML 在 RTX 5090 或 3090 上领先 15% 到 26%，在 5060 Ti 上持平。在 16 GB 显卡上，使用 ZML 时较长的提示词可能以 HTTP 500 错误失败，所以那里请使用 SGLang。

• License: Apache 2.0
• Cost to run: 未提及，NVIDIA GPU 由你自己提供
• Data it reaches: 你发送给本地服务器的请求
• Not for: 在 macOS 或 Windows 上使用这个运行时、在 16 GB 显卡上用 ZML 处理长提示词，或没有 NVIDIA 驱动的环境

Hugging Face 上的数据（2026年11月15日）

• 任务：text generation
• 框架：mlx
• 参数量：7.3B
• Weights: about 14.6 GB in I16
• Formats: Safetensors
• 最近 30 天下载：1,425
• 点赞：260
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen3.6-35B-A3B
• Quantized versions: 7
• Fine-tunes: 1
• 标签：safetensors, qwen3_5_moe, mixture-of-experts, qwen3, 2-bit, quantization, eschamoe, sglang, apple-silicon, macos, metal, code

链接

• 模型：https://huggingface.co/EschaLabs/Qwen3.6-35B-A3B-Escha-W2
• 文件：https://huggingface.co/EschaLabs/Qwen3.6-35B-A3B-Escha-W2/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download EschaLabs/Qwen3.6-35B-A3B-Escha-W2

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。