Qwen3.8-27B IQR-V4

Qwen3.8-27B IQR-V4

把 Qwen3.8-27B 压缩成十五种大小，每个权重约 2.5 到 8 位，面向 AMD RDNA4 GPU 上的 radiance 引擎，内含图片读取和提速草稿器。

由 StillDeadcode 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放用 IQR-V4（radiance 引擎的 trellis 格式）压缩的 Qwen3.8-27B，有多种大小。每种大小是一个 .rad 容器文件，从每个权重约 2.5 位到 8 位。每个文件都运行在面向 AMD RDNA4 GPU 并使用 ROCm 的 radiance 推理引擎上。读取图片的部分和一个叫 DFlash2 的提速草稿器都合并进了每个文件。作者的设计和测量在另一份技术报告里。

适合谁：如果你有 AMD RDNA4 显卡，运行 radiance 引擎，想要一个大小刚好适合你显卡的 27B 模型，它适合你。

Title: Who uses this model
行业 | 谁在用 | 怎么用 | 例子
自托管 | AMD GPU 用户 | 在自己的显卡上运行 27B 模型 | 选一个能放进单块 32 GB 显卡的文件大小
软件 | 开发者 | 通过 OpenAI 风格的接口提供本地模型服务 | 让现有应用指向本地服务器
AI 研究 | 量化研究人员 | 研究低位压缩的结果 | 按与 bf16 模型的偏离程度对比各个文件大小

如果你没有 AMD RDNA4 显卡，或者用别的引擎，可以跳过它，因为这些文件是为 radiance 做的。

用在哪里：

• radiance 推理引擎，版本要比 1.16.0 新
• 带 ROCm 的 AMD RDNA4 GPU
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Title: Jobs it does
用途 | 适合谁 | 得到什么
本地聊天 | 有这类硬件的任何人 | 在你自己显卡上的 27B 模型给出的文字回复
图片和视频问答 | 开发者 | 针对聊天请求里发送的图片或视频片段给出的回答
本地 API 服务器 | 应用开发者 | 支持聊天补全、工具调用和结构化输出的服务器
选择大小 | 调校硬件的人 | 十五种文件大小，可以在质量和内存之间取舍

如何设置：你需要 Python 来下载，一个比 1.16.0 新的 radiance 引擎，以及一块 AMD RDNA4 显卡。1.16.0 或更早的引擎版本无法加载这些文件，因为它们需要的内核在之后的版本里才出现。单块 32 GB 显卡能放下 IQ5R 及以下的大小，还剩下处理长输入的内存。更大的大小需要两块显卡。

• 带 pip 的 Python
• 比 1.16.0 新的 radiance 引擎版本
• 一块 AMD RDNA4 GPU，IQ5R 及以下的文件需要 32 GB
• 足够放下你所选文件的磁盘空间

1. 安装 huggingface_hub。
2. 下载整个仓库，或者只下载你想要的那个大小。
3. 用那个文件启动 radiance 服务器。

pip install -U huggingface_hub
hf download StillDeadcode/qwen3.8-27b-iqr-v4

上面的下载命令会取回整个仓库，而仓库里有所有大小，所以你可能更想只取一个文件。

如何使用：用你选的文件启动 radiance。模型卡里的例子用的是 IQ4R 文件、一块 GPU、接近 200,000 token 的上下文上限和 8 位的注意力缓存。然后向服务器发送请求。

radiance --model qwen3.8-27b-iq4r-v4.rad --tp 1 --max-model-len 200000 --kv-cache-dtype fp8 \
    --max-num-seqs 8 --host 0.0.0.0 --port 8000

Title: Main server options
工具 | 作用
--model | 选择要加载的 .rad 文件
--tp | 设置多少块 GPU 共同承载模型
--max-model-len | 设置服务器允许的最长上下文
--kv-cache-dtype fp8 | 以 8 位存放注意力缓存
--max-num-seqs | 设置同时运行多少个请求
--host and --port | 设置服务器监听的位置

服务器支持 OpenAI 的聊天和补全接口，带工具调用、结构化输出，以及聊天消息里的图片和视频部分。草稿器的深度是自动选择的。一个叫 --num-speculative-tokens 的参数可以设置它，设为 0 就关闭草稿器。

示例：你用 IQ4R 文件启动 radiance，然后发送一个包含照片和问题的聊天请求。模型用文字回答，草稿器加快速度，但不会改变答案。

新手与专家：量化就是用更少的位数存放模型的数字，让文件变小。KL 越低，压缩后模型的回答就越接近完整的 bf16 模型。第一次小测试就是用 IQ4R 文件和这个示例命令。

每个权重矩阵先被旋转，再用 GPTQ 拟合，并存成 trellis 编码。位宽来自实测的 KL 代价。在 IQ6R-L 以下，输出头把最宽的编码给了承载大部分概率的 token。草稿会由主模型检查，所以它们只改变速度，不会改变输出。

Qwen3.8-27B bf16 模型
旋转并用 GPTQ 拟合
IQR-V4 .rad 容器
AMD 上的 radiance 服务器

注意事项：这些分数来自作者自己的量化挑战，用了 1.05M 条模型写出的位置，显示与 bf16 模型的偏离程度。在各个大小上，模型卡报告 KL 比它早期的 IQR-V3 格式低 2% 到 19%。作者在一块显卡上测得，IQ4R-S-V4 文件单路生成比 MXFP4 检查点快 4%，KL 小五倍。模型训练时的上下文是 262,144 个 token，测试过 200K。

Title: Selected sizes and how close they stay to bf16
大小 | 每个权重的位数 | KL 均值 | Top-1 一致率
IQ2R | 2.470 | 0.06113 | 91.23%
IQ3R | 3.472 | 0.01495 | 95.74%
IQ4R | 4.473 | 0.00444 | 97.69%
IQ5R | 5.433 | 0.00154 | 98.60%
IQ6R | 6.439 | 0.00081 | 98.96%
IQ8R | 8.040 | 0.00046 | 99.22%

• License: Apache 2.0。
• Cost to run: 未提及，除了 AMD 硬件。
• Data it reaches: 文件来自 Hugging Face，之后模型在你自己的电脑上运行。
• Not for: 其他品牌的 GPU，或者 radiance 1.16.0 及更早的版本。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 最近 30 天下载：0
• 点赞：8
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• 标签：radiance, rocm, rdna4, speculative-decoding, dflash2, vision, image-text-to-text

链接

• 模型：https://huggingface.co/StillDeadcode/qwen3.8-27b-iqr-v4
• 文件：https://huggingface.co/StillDeadcode/qwen3.8-27b-iqr-v4/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download StillDeadcode/qwen3.8-27b-iqr-v4

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。