Qwen3.8-Flash-Next-GSQ-RCO-GGUF

Qwen3.8-Flash-Next-GSQ-RCO-GGUF

Qwen3.8-Flash-Next 的 GGUF 版本，有四种大小，每个张量用各自的精度量化，并带有支持图片输入的视觉投影文件，适合在本地运行大型混合专家模型的人。

由 ISTA-DASLab 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库提供 Qwen3.8-Flash-Next 的 GGUF 量化版本，它是一个稀疏混合专家模型，有四种大小。每个张量都有自己的量化类型，由一次搜索选出，在总大小预算内把更多比特分给更敏感的部分。一个视觉投影文件让模型除了文字，还能接收图片。

适合谁：它适合在自己机器上运行大型开源模型，并想要一个与内存相符的大小的人。

Industry | Who uses it | How they use it | Example
本地 AI | 爱好者 | 离线运行大型多模态模型 | 在 LM Studio 里聊一张照片
软件 | 开发者 | 通过 llama.cpp 或 Ollama 部署大模型 | 让本地工具指向已加载的模型
人工智能研究 | 量化研究人员 | 研究逐张量的比特分配 | 把这些文件与统一量化对比
GPU 和服务器团队 | 基础设施工程师 | 选一个适合现有内存的大小 | 按总文件大小在四种大小里选择

如果你的机器内存远小于 4-bit 估算的约 88.5 GB，可以跳过它。

用在哪里：

• llama.cpp，它可以直接加载这些文件
• Ollama
• LM Studio
• Windows、macOS 或 Linux，内存要够你选的大小

Use case | Who | What they get back
文字聊天 | 本地 AI 用户 | 在你自己硬件上由 177B 参数模型给出的回答
图片提问 | 开发者 | 用 mmproj 文件得到关于图片的文字回答
量化研究 | 研究人员 | 比特宽度因张量而异、可直接对比的文件

如何设置：

你需要先准备：

• Python，用来运行 Hugging Face 下载命令
• llama.cpp、Ollama 或 LM Studio
• 与你所选大小相符的内存和磁盘，4-bit 估算约 88.5 GB

1. 安装 Hugging Face hub 工具。
2. 下载仓库文件，或者只下载你要的那个大小。
3. 在你的应用里加载量化模型，想输入图片时再加上 mmproj 文件。

pip install -U huggingface_hub
hf download ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF

如何使用：从四个大小目录里选一个，在 llama.cpp、Ollama 或 LM Studio 里加载它的权重分片，想发送图片时再加上 mmproj 文件。每个量化模型有两个分片。

Tool | What it does
Shard 1 | 存放该大小的模型权重
Shard 2 | 存放逐层 n-gram 嵌入表，四种大小里都一样
mmproj file | 以 BF16 携带视觉编码器和投影器，适用于所有大小
GSQ | 学习每个张量的量化网格和缩放
RCO | 在大小预算内为每个张量选择量化类型

示例：你在 LM Studio 里加载一个大小并带上 mmproj 文件，附上一张截图，然后问：“这个错误对话框写了什么？”模型会用文字回答关于这张图片的内容。

新手与专家：量化模型是更小的副本，用一点精度换取更少的内存。这里每个张量都有自己的设置。第一步可以选内存允许的最大那个大小，和它聊聊。

模型每一层有 512 个路由专家，共 48 层，每个 token 激活 10 个。因为 95% 的可搜索权重在专家里，搜索按层分配类型，因为 GGUF 无法按专家表达。GSQ 让每个张量在给定类型下尽量准确，RCO 在预算内分配类型。

GSQ 用给定类型量化每个张量
RCO 为每个张量分配类型
结果保存为标准 GGUF
llama.cpp、Ollama 或 LM Studio 加载它

注意事项：一个偏重代码的变体作为单独的仓库发布，每层保留 512 个专家中的 256 个。

Title: 大致大小，单位 GB
本模型 4-bit（估算）: 88.5 GB
代码变体，总计: 58.4 GB

• N-gram 表: 51.2B 参数的逐层表在每个版本里都固定为 4.5 bpw，不参与搜索
• 其他版本: 列出了其他人做的 50 个量化版本和 1 个微调版本
• License: Apache 2.0
• Cost to run: 未提及，但需要的内存很大
• Data it reaches: 你加载的模型文件，以及你与 mmproj 文件配合使用的图片

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：gguf
• 参数量：177B
• Weights: about 88.5 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：6,963,596
• 点赞：1,229
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-Flash-Next
• Quantized versions: 50
• Fine-tunes: 1
• 标签：gguf, quantization, mixed-precision, ist-daslab, multimodal, vision, image-text-to-text, imatrix, conversational

链接

• 模型：https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF
• 文件：https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。