Qwen3.8-27B Intel Arc Tuned

Qwen3.8-27B Intel Arc Tuned

提供为 Intel Arc GPU 重新调整的 27B Qwen3.8 GGUF 文件，作者的测试里纯解码约每秒 22 个词元。适合在 Arc 显卡上用 llama.cpp 和 SYCL 的人。

由 Greatjedi 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库收录了 27B Qwen3.8 模型的 GGUF 权重，经过转换后能在 Intel Arc GPU 上快速运行。作者说，常见的 27B 量化在 Arc 上会卡住，因为 llama.cpp 的 SYCL 后端没有 I-Quant 张量的内核。调整过的文件把这些张量转成了 Q4_K。

适合谁：它适合拥有 Intel Arc GPU（比如 Arc Pro B60 或 A770）、用 llama.cpp 在本地运行语言模型的人。模型卡列出了英语和中文。

Title: 谁在用
Industry | Who uses it | How they use it | Example
软件 | 有 Intel Arc 显卡的开发者 | 用 llama.cpp SYCL 在本地运行 27B 模型 | Arc GPU 上的本地编程助手
家庭实验室 | 本地 AI 爱好者 | 让 Arc 显卡跑出可用的速度 | 在 Arc Pro B60 上和 27B 模型聊天
研究 | 量化研究者 | 研究 I-Quant 为什么在 SYCL 上卡住 | 比较原版和调整版的文件

如果你用的是 NVIDIA 或 Apple 的 GPU，可以跳过它。模型卡没有给出其他硬件的数据。

用在哪里：

• 用 SYCL 后端的 llama.cpp，运行在 Intel Arc GPU 上
• 据模型卡，有 24 GB 的 Arc Pro B60、有 16 GB 的 Arc A770 和 Battlemage 显卡
• oneAPI SYCL 运行时

Title: 它能做的事
Use case | Who | What they get back
普通生成 | 本地用户 | 在 Arc 上比原版 I-Quant 文件更快的解码
推测解码 | 追求速度的人 | 用内置的预测头达到每秒 41 个词元以上

如何设置：

• 一块有足够内存放下约 14 到 15 GiB 文件的 Intel Arc GPU
• 用 SYCL 后端编译的 llama.cpp
• Python，只用来通过 Hugging Face 工具下载文件

1. 安装 Hugging Face Hub 工具。
2. 下载仓库文件。
3. 在 Arc GPU 上用 llama.cpp 加载调整过的 GGUF 文件。

pip install -U huggingface_hub
hf download Greatjedi/Qwen3.8-27B-Intel-Arc-Tuned-GGUF

如何使用：
在 llama.cpp 里用完全 GPU 卸载来加载调整后的文件。作者测速时卸载了 99 层并开启了 flash attention，使用 Level Zero 设备。最新的文件保留了内置的预测头，所以推测解码不需要额外的草稿模型。

hf download Greatjedi/Qwen3.8-27B-Intel-Arc-Tuned-GGUF

示例：
你在 Arc Pro B60 上加载调整后的 Q4_K 文件，向模型提一个问题。在作者的测试里，纯解码约每秒 22 个词元，原版 IQ3_XXS 文件是 8.10。你自己的速度取决于你的环境。

新手与专家：
如果你是新手，量化文件就是模型的缩小副本，有些缩小方式在某些显卡上运行得很差。第一件小事是下载一个调整后的文件，像加载任何 GGUF 那样加载它。

如果你懂这个领域，Intel 的 XMX 引擎使用 DPAS，需要稠密的整数类型。作者说 I-Quant 码本需要查表，而且没有 SYCL 内核，所以会回退到主机上计算。调整后的文件把它们转成带 6 位缩放的 Q4_K，并保留 RoPE、layernorm 和注意力投影。代价在体积：文件有 13.72 到 15.29 GiB。

找出文件里的 I-Quant 张量
把它们转成 Q4_K 块
保持敏感张量不变
在 llama.cpp SYCL 里加载文件

注意事项：

Title: Intel Arc Pro B60 上的纯解码速度
ISTA-DASLab IQ3_XXS, stock: 8.10 tok/s
Ridge, stock: 12.22 tok/s
Unsloth UD-Q4_K_S, stock: 12.97 tok/s
Ridge tuned Q4_K: 22.23 tok/s
DAS Lab tuned Q4_K: 22.36 tok/s
DAS Lab IQ3_S tuned MTP: 21.42 tok/s

• 基准：所有速度都来自作者在一块 24 GB 的 Arc Pro B60 上的运行，所以只当作单个数据点。
• 推测解码：模型卡称内置 MTP 的版本达到 41.28 tok/s 和 41.88 tok/s，不需要外部草稿模型的显存。
• 预填充：Ridge 调整后的文件约 245 tok/s。
• License：apache-2.0。
• Cost to run：没有提到 API 密钥、账号或付费服务，但你需要一块 Intel Arc GPU。
• Data it reaches：你从 Hugging Face 下载文件，模型卡没有提到别的访问。
• Not for：其他品牌的 GPU，模型卡没有涉及。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：26.9B
• Weights: about 13.4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：7,481
• 点赞：31
• 许可证：apache-2.0
• 语言：en, zh
• 基于：empero-ai/Qwen3.8-27B-Ridge-GGUF
• 标签：gguf, intel-arc, intel-arc-b60, battlemage, sycl, qwen, qwen3.8, quantized, speculative-decoding, hardware-accelerated, iq3-s, text-generation

链接

• 模型：https://huggingface.co/Greatjedi/Qwen3.8-27B-Intel-Arc-Tuned-GGUF
• 文件：https://huggingface.co/Greatjedi/Qwen3.8-27B-Intel-Arc-Tuned-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Greatjedi/Qwen3.8-27B-Intel-Arc-Tuned-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。