Qwen3.8-Whittle-MoE-27B-MLX-4bit
barozp · 工具包
面向 Apple Silicon 的 4 位 MLX 版本,来自从稠密的 Qwen3.8-27B 切出来的混合专家模型,总参数 27B,激活 17.8B。适合用 mlx-lm 运行本地模型的人。
新上架
barozp · 工具包
面向 Apple Silicon 的 4 位 MLX 版本,来自从稠密的 Qwen3.8-27B 切出来的混合专家模型,总参数 27B,激活 17.8B。适合用 mlx-lm 运行本地模型的人。
通过 mlx-serve 在 128 GB 内存的 Mac 上运行剪枝后的 2 位 DeepSeek-V4.1-Flash,保留 384 个专家中的 192 个和 1M token 上下文。在代码、推理和工具调用上表现最好。
lapadatbogdan · 工具包
在家用电脑上运行裁剪过的 GLM-5.3-Flash 编程和智能体模型,提供五种量化大小的 GGUF 文件。每层保留 288 个专家中的 152 个,把 321B 模型缩小到约 170B。
ISTA-DASLab · 工具包
Qwen3.8-Flash-Next 的偏编程 GGUF 版本,去掉了一半专家,把 BF16 的 354 GB 缩到 58.4 GB,同时保留图片输入,适合有大机器、想在本地用编程模型的人。
ISTA-DASLab · 工具包
ISTA-DASLab 制作的 DeepSeek-V4.1-Flash-1017 专家剪枝加量化的 GGUF 版本,面向代码和智能体工作,transformer 权重为 72.1 GB。适合有大内存机器的开发者。