Qwen3.8-27B-GSQ-RCO-GGUF

Qwen3.8-27B-GSQ-RCO-GGUF

ISTA-DASLab 制作的 Qwen3.8-27B GGUF 版本，共四种大小，每个张量用各自的精度量化，并带有处理图片的视觉投影文件。适合在 llama.cpp、Ollama 或 LM Studio 里本地运行模型的人。

由 ISTA-DASLab 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放有 ISTA-DASLab 制作的四个 Qwen3.8-27B GGUF 版本，另外还有用于图片的视觉投影文件。它不是给所有权重用同一种精度，而是给每个张量各选一种量化类型，由基于梯度的搜索在体积预算内决定。所用的方法叫 GSQ 和 RCO。这些文件是普通的 GGUF。

适合谁：在自己电脑上运行 27B 视觉语言模型、想要挑选文件大小的人，以及研究量化的研究人员。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在本地用更小的文件运行 27B 模型 | 在 llama.cpp 里加载 IQ3_S 文件
研究 | 量化研究人员 | 研究比特如何分布在各个张量上 | 对比四个文件的大小和位宽
业余计算 | 本地模型用户 | 在家用电脑上带图片聊天 | 随模型一起加载视觉投影文件

如果你需要全精度模型，可以跳过它，因为这些是压缩后的版本。

用在哪里：

• llama.cpp
• Ollama
• LM Studio

Use case | Who | What they get back
本地聊天 | 任何人 | 来自 27B 模型的回答，文件大小为 8.4 到 11.8 GB
图片提问 | 本地模型用户 | 使用视觉投影文件得到的关于图片的回答
量化研究 | 研究人员 | 可供研究的逐张量量化类型

如何设置：

• Python，用于 Hugging Face 工具
• 存放四个文件之一的磁盘空间，8.4 到 11.8 GB，外加视觉投影文件
• 上面列出的程序之一

1. 安装 Hugging Face hub 软件包。
2. 下载整个仓库，或者只下载你要的大小。
3. 在你的程序里加载 GGUF 文件，处理图片时还要加载视觉投影文件。

pip install -U huggingface_hub
hf download ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF

如何使用：选一个大小，在你的程序里加载那个文件然后聊天。想发送图片时，再加上 mmproj 文件。同一份 mmproj 适用于所有大小。

Tool | What it does
IQ2_XS 文件 | 最小的尺寸，每个权重 2.50 比特，8.4 GB
IQ2_S 文件 | 2.75 比特，9.3 GB，据说在一项数学测试上与基础模型持平
IQ3_XXS 文件 | 3.00 比特，10.1 GB，是个均衡的选择
IQ3_S 文件 | 3.50 比特，11.8 GB，是模型卡推荐的大小
mmproj 文件 | 存放 BF16 精度的视觉编码器和投影器

示例：在 LM Studio 里加载 IQ3_S 文件和 mmproj 文件，附上一张照片，问它画面里是什么。模型应该会用文字描述这张图片。

新手与专家：如果你是新手，先用推荐的 IQ3_S 文件，在试图片之前先问一个普通的文字问题。

如果你熟悉这个领域，GSQ 用 Gumbel softmax 松弛来学习网格分配和分组缩放。RCO 在总体积预算下，给每个张量从多种量化类型里分配一种，并对这个约束使用黎曼流形的重新表述。

GSQ 按给定类型量化每个张量
RCO 在体积预算下分配类型
结果保存为 GGUF 文件
你的程序加载其中一个文件

Title: 各量化级别的文件大小
IQ2_XS: 8.4 GB
IQ2_S: 9.3 GB
IQ3_XXS: 10.1 GB
IQ3_S: 11.8 GB

注意事项：

• 模型卡里的质量说法，比如 3.50 比特下任务无损，是发布者自己的说法。
• 模型卡里还有一张关于用 MTP 头做推测解码的图。
• 基础模型是 Qwen/Qwen3.8-27B。
• License: apache-2.0。
• Cost to run: 没有提到，只需要你自己的硬件。
• Data it reaches: 你给它的提示词和图片。来源没有提到账号或外部服务。
• Not for: 来源没有说明。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：gguf
• 参数量：26.9B
• Weights: about 13.4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：1,358,588
• 点赞：2,739
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 8
• Fine-tunes: 4
• 标签：gguf, quantization, mixed-precision, ist-daslab, multimodal, vision, image-text-to-text, imatrix, conversational

链接

• 模型：https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
• 文件：https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。