Qwen3.8-Flash-Coder APEX-I-MiniPlus V2.1 GGUF

Qwen3.8-Flash-Coder APEX-I-MiniPlus V2.1 GGUF

一个仅支持英文的编程模型，GGUF 格式，42.6B 参数的混合专家量化版，约 21.8 GB，用于在 llama.cpp 或 LM Studio 里做代码补全、重构和智能体工具调用。

由 IsValorum 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 IsValorum 对一个实验性编程模型做的 GGUF 量化，来源是 Jab1718 的 qwen3.8-flash-coder-85gb-bf16。上游模型是一个实验性的剪枝切片，用英文 Python 和 SWE-bench 数据去掉了 512 个路由专家中的 352 个。

结果是一个只支持英文的编程专家。文件约 21.77 GB，每个权重 3.45 位，而未压缩的 BF16 版本是 85.30 GB。

适合谁：想在本地用英文编程模型、能容纳 21 到 22 GB 文件的开发者，包括有 24GB 工作站的人。也适合想比较混合专家模型量化方案的人。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 用英文补全和重构代码 | 让它整理一个 Python 函数
智能体开发 | 智能体开发者 | 在本地运行模型做智能体工具调用 | 让编程智能体连接到一个 llama-server 实例
研究 | 量化研究人员 | 把逐张量量化和 BF16 基线做比较 | 阅读三个版本的困惑度表
硬件爱好者 | 工作站用户 | 把 42.6B 模型装进 21 到 22 GB | 试着把部分层卸载到系统内存

需要其他语言或通用聊天的人可以略过它，因为模型卡说它在英文编程之外的输出会出错。

用在哪里：

• 原版 llama.cpp，通过 llama-server
• LM Studio
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

模型卡说它因为 160 专家的布局，无法配合 Strata Engine 使用。

使用场景 | 谁用 | 得到什么
英文代码补全 | 开发者 | 针对 Python 等任务给出的代码建议
重构 | 开发者 | 你贴进去的代码的更整洁版本
智能体工具调用 | 智能体开发者 | 来自本地编程模型的工具调用

如何设置：为约 21.77 GB 的文件腾出空间，再加上运行模型所需的内存。

• Python 和 pip，用于 Hugging Face 下载工具
• 原版 llama.cpp 和 llama-server，或者 LM Studio
• 约 21 到 22 GB 的空闲磁盘，以及足够加载它的内存或显存

1. 安装 huggingface_hub 包。
2. 用 hf 命令下载文件。
3. 在 LM Studio 里打开 GGUF 文件，或者用 llama-server 来提供服务。
4. 开始之前先读模型卡推荐的设置。

pip install -U huggingface_hub
hf download IsValorum/Qwen3.8-Flash-Coder-APEX-I-MiniPlus-V2.1-GGUF

如何使用：用英文给它编程任务，比如补全、重构或解释代码。模型卡的目录里写着推荐的生成参数、针对编程的重复惩罚提示，以及带推理强度设置的智能体聊天模板。这些部分在这里被截断了，请到模型页阅读。

工具 | 作用
llama-server | 用原版 llama.cpp 提供 GGUF 文件的服务
LM Studio | 在桌面应用里加载 GGUF 文件
hf download | 从 Hugging Face 获取文件

示例：你在 LM Studio 里加载文件，然后问 "Refactor this Python function so it no longer uses nested loops." 模型用代码回答。按模型卡的说法，同样的请求用西班牙语或德语提出，会得到乱码般的文字。

新手与专家：把它看作被压进一个大文件里的编程助手。它只在英文和编程上表现好。第一次尝试可以下载它，在 LM Studio 里加载，再让它做一个小的 Python 修改。

从底层看，上游模型有 48 个混合层，其中 36 个线性 SSM DeltaNet 层和 12 个稀疏全注意力层，剪枝后剩 160 个专家。量化逐张量分配精度，以保持推理质量和路由。代价是它是个被剪枝的模型，还没有恢复微调。

从 Qwen3.8 Flash Coder 出发
剪掉 512 个路由专家中的 352 个
逐张量量化成 GGUF
在 llama-server 或 LM Studio 里运行

注意事项：模型卡在 WikiText-2 困惑度上比较了三个版本，数值越低越好。MiniPlus 文件和 BF16 基准的差距在 0.17% 以内。

Title: 文件大小，单位 GB
BF16 基准: 85.30 GB
APEX-I-MiniPlus V2.1: 21.77 GB
APEX-I-NanoPlus: 18.34 GB

Title: WikiText-2 困惑度，越低越好
BF16 基准: 30.0975
APEX-I-MiniPlus V2.1: 30.1495
APEX-I-NanoPlus: 34.4199

• 警告：模型卡把它标为实验性预发布，被剪掉的专家会损害通用聊天和其他语言
• 规模：42.6B 参数，GGUF 格式，语言标注为英语
• License: Apache 2.0
• Cost to run: 没有提到 API 密钥或付费服务，不过作者欢迎自愿捐赠
• Data it reaches: 你从 Hugging Face 下载的文件，以及你交给本地运行器的提示词
• Not for: 英语以外的语言、通用闲聊，以及 Strata Engine

Hugging Face 上的数据（2026年11月13日）

• 框架：gguf
• 参数量：42.6B
• Weights: about 21.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：1,585
• 点赞：8
• 许可证：apache-2.0
• 语言：en
• 基于：Jab1718/qwen3.8-flash-coder-85gb-bf16
• 标签：gguf, qwen3.8, llama.cpp, quantized, quantization, apex, apex-quant, apex-i-miniplus, v2.1, qwen, qwen4, qwen4-exp

链接

• 模型：https://huggingface.co/IsValorum/Qwen3.8-Flash-Coder-APEX-I-MiniPlus-V2.1-GGUF
• 文件：https://huggingface.co/IsValorum/Qwen3.8-Flash-Coder-APEX-I-MiniPlus-V2.1-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download IsValorum/Qwen3.8-Flash-Coder-APEX-I-MiniPlus-V2.1-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。