Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF

Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF

Qwen3.8-Flash-Next 的偏编程 GGUF 版本，去掉了一半专家，把 BF16 的 354 GB 缩到 58.4 GB，同时保留图片输入，适合有大机器、想在本地用编程模型的人。

由 ISTA-DASLab 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 Qwen3.8-Flash-Next 的 GGUF 版本，由 ISTA-DASLab 的作者为编程场景压缩。他们从混合专家模型里去掉了一半专家，把剩下的以紧凑格式存储，所以文件总共 58.4 GB，而 BF16 是 354 GB。这次裁剪面向代码、智能体的工具使用、视觉和空间推理，图片输入仍然保留。模型卡称它为实验性版本。

适合谁：它适合有大机器、想在本地运行偏编程模型，并且接受它在这个重点之外表现较弱的人。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在本地运行偏编程的模型 | 在你自己硬件上的私有代码助手
人工智能研究 | 研究人员 | 研究专家剪枝和低比特存储 | 把剪枝后的模型与 BF16 基础模型对比
基础设施 | 机器学习工程师 | 把巨型模型装进更少的硬件 | 在 32 GB 加速卡上部署压缩后的模型
本地 AI | 有大机器的爱好者 | 在家试用前沿规模的编程模型 | 下载 GGUF 文件并在编程任务上测试

如果你需要通用模型，可以跳过它，因为模型卡为此指向未剪枝的版本。

用在哪里：

• 能加载 GGUF 文件的工具，比如 llama.cpp
• 把任务发给本地模型的编程和智能体环境
• 内存充足的 Windows、macOS 或 Linux 电脑

Use case | Who | What they get back
代码生成 | 开发者 | 来自保留的专家偏向编程的模型的代码
智能体工具使用 | 智能体开发者 | 工具调用和多步骤编程工作
图片提问 | 开发者 | 关于图片的文字回答，因为任务是图文转文字

如何设置：

你需要先准备：

• Python，用来运行 Hugging Face 下载命令
• 大约 58.4 GB 磁盘空间存放文件
• 足够的内存，因为模型卡说 29.6 GB 必须常驻内存，而 n-gram 分片可以从磁盘读取
• 一个能加载 GGUF 文件的工具

1. 安装 Hugging Face hub 工具。
2. 下载模型文件。
3. 在支持 GGUF 的工具里打开它们。
4. 如果你有更早的版本，重新下载第一个分片。

pip install -U huggingface_hub
hf download ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF

如何使用：这里给出的模型卡部分没有运行命令，所以请读完整的模型卡了解运行步骤。模型卡说所有分数都是在 xhigh 推理强度下测的，如果你想对上这些分数，就用这个设置。

Tool | What it does
GGUF files | 压缩后的模型，被拆成多个分片
n-gram shard | 一个可以从磁盘读取的查找表
xhigh reasoning effort | 模型卡测分数时用的设置
Expert pruning | 去掉一半专家来缩小体积

示例：你在 GGUF 工具里加载模型，贴上一份缺陷报告并让它修复。它用代码回答，在智能体环境里它可以调用工具。模型卡没有展示这次具体的运行，所以请把它当作预期。

新手与专家：混合专家层里有很多小块，路由器为每个 token 选几个，所以每次只有一部分模型在运行。剪枝去掉一半这样的小块，量化则用更少的比特存储剩下的。第一步可以在下载之前，先拿你的内存和文件大小比一比。

基础模型的 48 层各有 512 个专家，每个 token 会运行其中 10 个。保留的权重用每个权重 3.5 比特。每个参数 1.89 比特这个数字是相对原模型的等效速率，没有哪一个权重真的按这个速率存储。

从 Qwen3.8-Flash-Next 开始
去掉一半专家，面向代码
把保留的权重存为 3.5 比特
加载 GGUF 文件并运行

注意事项：体积缩小很多，而模型卡坦率地说有些能力会丢失。

Title: 模型大小，单位 GB
BF16 base: 354 GB
This release: 58.4 GB

• 分数: 在 SWE-bench Verified 上，BF16 基础模型得 82.80，这个版本得 79.20，保留了 95.7%，LiveCodeBench v6 保持在 87.43，都是作者在 xhigh 强度下测的
• 取舍: 代码、工具使用、视觉和空间推理之外的能力会下降，模型卡为通用用途指向未剪枝的版本
• 更新: 后来的版本减少了循环并提高了编程分数，所以如果你有更早的版本，请重新下载第一个分片
• 其他版本: 列出了其他人做的 10 个量化版本和 1 个微调版本
• License: Apache 2.0
• Cost to run: 未提及，硬件由你自己提供
• Data it reaches: 你给它的提示词和图片，以及你下载的文件

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：gguf
• 参数量：117B
• Weights: about 58.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：781,625
• 点赞：610
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-Flash-Next
• Quantized versions: 10
• Fine-tunes: 1
• 标签：gguf, quantization, pruning, expert-pruning, mixed-precision, ist-daslab, code, image-text-to-text, imatrix, conversational

链接

• 模型：https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF
• 文件：https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。