Qwen3.8-27B-Quark-AWQ-MXFP4

Qwen3.8-27B-Quark-AWQ-MXFP4

把 Qwen3.8-27B 运行为用 AMD Quark 和 AWQ 做出的更小的 MXFP4 量化版本，通过 vLLM 提供服务。适合想要压缩版 27B 视觉语言模型、并看重公开 GSM8K 分数的开发者。

由 amd 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen3.8-27B，用 AMD Quark 以 AWQ 方法压缩成 4 位的 MXFP4 权重和 MXFP4 激活。只有语言解码器被量化，视觉塔保持 bf16。结果是一个更小的版本，在模型卡的测试里数学分数与基础模型接近。

适合谁：它适合要部署大模型、想要更小的 27B 版本的开发者，也适合在 AMD 工具链上研究低位量化的研究者。

Industry | Who uses it | How they use it | Example
AI 基础设施 | 模型服务工程师 | 通过 vLLM 部署压缩后的 27B 模型 | 启动模型卡里的 serve 命令并发送聊天请求
研究 | 量化研究者 | 研究 MXFP4 加 AWQ 以及它的精度损失 | 比较量化版和 bf16 的 GSM8K 分数
软件 | 应用开发者 | 以更低的内存需求运行图文模型 | 通过本地服务器询问关于一张图片的问题
评测 | 机器学习评测人员 | 在本地端点上复现基准测试 | 运行模型卡里的 lm-eval 命令

如果你的 GPU 不支持这种格式，或者你只需要小模型，可以跳过它。

用在哪里：它通过 vLLM 提供服务，模型卡里的量化步骤使用 AMD 的 Quark 并设置 HIP 设备。

• vLLM，作为本地服务器
• lm-eval 工具，用于 GSM8K 评分
• AMD Quark，用于重复量化过程

Use case | Who | What they get back
部署服务 | 基础设施团队 | 量化模型的本地端点
基准测试 | 评测人员 | 思考和非思考模式下的 GSM8K 准确率
重新量化 | 研究者 | 由基础模型生成的量化版本

如何设置：你需要 Python、vLLM 和支持 MXFP4 的 GPU 环境，另外要有足够装下约 15.6 GB 权重的内存。serve 命令使用 16384 个 token 的上限和一块 GPU。

1. 安装 Hugging Face 的 hub 工具。
2. 下载模型文件。
3. 安装 vLLM。
4. 用模型名称运行 serve 命令。

pip install -U huggingface_hub
hf download amd/Qwen3.8-27B-Quark-AWQ-MXFP4

如何使用：用 vLLM 启动模型，然后向本地服务器发送请求。如果要从基础模型重复量化，模型卡还给出了 Quark 命令。

vllm serve amd/Qwen3.8-27B-Quark-AWQ-MXFP4 \
  --served-model-name awq \
  --trust-remote-code \
  --tensor-parallel-size 1 \
  --max-model-len 16384

HIP_VISIBLE_DEVICES=<gpu> python3 quantize_quark.py \
  --model_dir Qwen/Qwen3.8-27B \
  --output_dir ./Qwen3.8-27B-w_mxfp4_a_mxfp4-awq \
  --quant_scheme mxfp4 \
  --num_calib_data 128 \
  --seq_len 512 \
  --quant_algo awq \
  --model_export hf_format \
  --data_type auto \
  --device cuda \
  --trust_remote_code

Tool | What it does
vllm serve | 通过本地端点提供量化模型的服务
quantize_quark.py | 用 AMD Quark 和 AWQ 量化基础模型
lm-eval | 通过本地端点给模型的 GSM8K 打分
hf download | 把模型文件下载到你的电脑

示例：你启动 serve 命令，然后让评测工具指向本地服务器，运行 GSM8K 数学应用题。模型卡报告思考模式下约为 94.996%，而 bf16 基础模型为 93.33%。

新手与专家：量化就是用更少的位数存储模型的数字，让它占用更少内存。第一步可以运行 serve 命令，并发送一个简短的问题。

权重使用 OCP 微缩放 FP4 格式，每 32 个值共用一个 E8M0 缩放，激活使用同样的格式，在运行时计算。校准使用了 pileval 数据集中 128 个长度为 512 的样本。恢复率就是量化版得分除以基础版得分。

从 bf16 的 Qwen3.8-27B 开始
用 128 个样本校准
用 AWQ 应用 MXFP4 权重和激活
用 vLLM 提供结果的服务

注意事项：模型卡在 GSM8K 上把量化模型与 bf16 基础模型做了对比，量化版在思考模式下得分更高，在非思考模式下略低。

Title: GSM8K 5-shot，flexible-extract 准确率
量化版，思考模式: 94.996 percent
BF16 基础版，思考模式: 93.33 percent
量化版，非思考模式: 89.92 percent
BF16 基础版，非思考模式: 90.67 percent

• Recovery: 思考模式下为 101.8%，非思考模式下为 99.2%。
• Scope: 只有语言解码器被量化，视觉塔保持 bf16。
• 非思考模式的运行是用一个自定义任务近似的，它在提示词里关闭一个空的 think 块。
• License: Apache 2.0。
• Cost to run: 未提及。它需要你自备受支持的 GPU。
• Data it reaches: 你发送到自己服务器的提示词和图片，以及用于校准的 pileval 数据集。
• Not for: 模型卡没有列出排除项。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：15.6B
• Weights: about 15.6 GB in U8
• Formats: Safetensors
• 最近 30 天下载：40,258
• 点赞：44
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 2
• Fine-tunes: 1
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, quark, quantized, mxfp4, conversational, 8-bit

链接

• 模型：https://huggingface.co/amd/Qwen3.8-27B-Quark-AWQ-MXFP4
• 文件：https://huggingface.co/amd/Qwen3.8-27B-Quark-AWQ-MXFP4/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download amd/Qwen3.8-27B-Quark-AWQ-MXFP4

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。