Qwen3.8-27B-exl3

Qwen3.8-27B-exl3

Qwen3.8-27B 的 EXL3 量化版本，提供从 1.40 到 6.00 的多种每权重比特数。适合在显存有限的 GPU 上用 ExLlamaV3 本地运行 27B 模型的人。

由 turboderp 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3.8-27B-exl3 是 turboderp 制作的一组 Qwen3.8-27B 模型的 EXL3 量化版本。每种大小都放在仓库的各自分支里。其中有从 1.40 到 6.00 每权重比特的自校准量化，也有从 2.00 到 6.00 的普通量化。

适合谁：适合在自己的 GPU 上运行大语言模型、需要把 27B 模型装进有限内存的人。这一系列大小让你在内存和质量之间取舍。

Industry | Who uses it | How they use it | Example
本地 AI | 只有一块 GPU 的爱好者 | 把 27B 模型装进有限的显存 | 选一个每权重比特数较低的版本并加载
软件 | 自托管模型的开发者 | 在自己的硬件上提供 Qwen3.8-27B 服务 | 为内部助手选一个中间档的量化版本
研究 | 量化研究人员 | 比较普通量化和自校准量化 | 阅读仓库里的校准和评测记录
爱好者 | 模型测试者 | 试用带视觉塔的模型版本 | 用 ExLlamaV3 v1.4.4 加载一个 V 版本

如果你的工具只读取 GGUF 文件或托管 API，可以跳过它，因为这种格式面向 ExLlamaV3。

用在哪里：

• ExLlamaV3，模型卡为带视觉塔的版本点名的加载器
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件
• Hugging Face，每个量化版本都作为单独的分支放在那里

Use case | Who | What they get back
低内存运行 | 单 GPU 用户 | 27B 模型的较小量化版本
更高质量运行 | 内存有余的用户 | 接近 6 每权重比特的量化版本
视觉输入 | 多模态测试者 | 带量化视觉塔的 V 版本

如何设置：你需要 Python、一种运行 EXL3 文件的方式，以及足够存放所选量化版本的磁盘空间。

• Windows、macOS 或 Linux 上的 Python
• ExLlamaV3，带视觉塔的版本需要 1.4.4
• 一块能放下所选量化版本的 GPU

1. 安装 Python 和 Hugging Face hub 工具。
2. 从模型页的列表里选一个量化版本。
3. 下载它的文件，它们在以它命名的分支里。
4. 在 ExLlamaV3 里加载这个文件夹。

pip install -U huggingface_hub
hf download turboderp/Qwen3.8-27B-exl3

如何使用：页面没有给出运行脚本。选一个与你内存相匹配的版本，下载那个分支，然后像加载其他 EXL3 模型一样在 ExLlamaV3 里加载。标有 V 的版本包含量化的视觉塔。

Tool | What it does
自校准量化版本 | 从 1.40 到 6.00 每权重比特的各种大小，标有 H3 到 H6
V 版本 | 同样的量化版本加上量化的视觉塔，需要 ExLlamaV3 v1.4.4
普通量化版本 | 从 2.00 到 6.00 每权重比特的七种大小
校准和评测记录 | 记录量化版本如何校准和测试的文件

示例：你的 GPU 内存有限，所以从普通列表里下载一个较低的大小，比如 2.50 每权重比特，并在 ExLlamaV3 里加载它。页面上的图表可以让你在决定之前比较各个版本。

新手与专家：量化就是用更少的比特来存储一个大模型的数字。比特更少，文件更小，占用内存更少，通常质量会有一些损失。第一步可以选一个中间大小，比如 4.00 每权重比特，看看能不能装下。

EXL3 是 ExLlamaV3 读取的格式。自校准版本带有标为 H3 到 H6 的设置，V 版本则加了量化的视觉塔。仓库里包含校准和评测记录，所以你能看到这些量化版本是怎么生成和评判的。

选一个每权重比特数的版本
下载仓库里对应的分支
在 ExLlamaV3 里加载它
在你的 GPU 上运行 Qwen3.8-27B

注意事项：

• 每个量化版本是一个分支，所以要确认你下载的是哪一个。
• 带量化视觉塔的版本需要 ExLlamaV3 v1.4.4 才能正常工作。
• 页面把基础模型列为 Qwen3.8-27B。
• License: apache-2.0。
• Cost to run: 未提及，你需要一块能放下该量化版本的 GPU。
• Data it reaches: 你从 Hugging Face 下载的文件。
• Not for: 页面没有列出限制。

Hugging Face 上的数据（2026年11月13日）

• 最近 30 天下载：5,032
• 点赞：203
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 1
• 标签：exl3

链接

• 模型：https://huggingface.co/turboderp/Qwen3.8-27B-exl3
• 文件：https://huggingface.co/turboderp/Qwen3.8-27B-exl3/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download turboderp/Qwen3.8-27B-exl3

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。