Qwen3.8-27B-Randean-MXFP4

Qwen3.8-27B-Randean-MXFP4

一个 27B 推理模型，经过微调后倾向于直接回答而不是含糊其辞，并量化为 MXFP4，让 vLLM 能在单块 32 GB GPU 上提供服务，适合运行本地推理和工具调用模型的开发者。

由 flechin 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个 27B 的推理模型，输入图片和文字，输出文字。它建立在 AMD 对 Qwen3.8-27B 做的 MXFP4 量化版本之上，再加入微调，目标是减少含糊其辞、一味迎合和顺着错误前提回答的情况。作者在一块 32 GB 的 AMD Radeon AI PRO R9700 上，用 QLoRA 和 ORPO 的方案训练了它。

适合谁：想要本地推理模型来写代码、做数学和调用工具的开发者会觉得合适，研究模型如何含糊其辞的研究者也一样。它需要内存充足的 GPU。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 用 vLLM 提供本地推理和工具调用模型 | 一块 GPU 上运行的编程助手
研究 | AI 研究者 | 研究微调如何改变含糊其辞和对错误前提的回应 | 与原版量化模型做对比
教育 | 老师和学生 | 解答数学、物理和逻辑问题 | 展示思考过程的分步解答
智能体 | 智能体开发者 | 测试多轮和并行的工具调用 | 在本地硬件上使用工具的助手

如果你没有大约 32 GB 内存的 GPU，可以跳过它，因为模型卡的快速路径假定有这样一块 GPU。

用在哪里：

• vLLM，模型卡用它来提供模型服务
• 单块 32 GB GPU，模型卡快速路径指明的配置
• 带 transformers 库的 Python，Hugging Face 列出了它
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用途 | 适合谁 | 得到什么
本地推理 | 开发者 | 带有思考部分的回答
工具调用 | 智能体开发者 | 来自所提供模型的、已解析的工具调用
快速服务 | 高级用户 | 用推测解码获得更高速度，约每秒 96 个 token

如何设置：下载需要带 pip 的 Python，提供模型服务需要 vLLM，还需要一块 32 GB 内存的 GPU。权重约 15.6 GB。

• Python 和 pip，在 Windows、macOS 或 Linux 上
• vLLM
• 一块 32 GB 内存的 GPU，和模型卡的快速路径一致

1. 安装 Hugging Face 的 hub 软件包。
2. 下载模型文件。
3. 安装 vLLM，然后用下面的某条命令启动服务。

pip install -U huggingface_hub
hf download flechin/Qwen3.8-27B-Randean-MXFP4

如何使用：用标准命令启动服务，它会加载 MXFP4 模型，使用 fp8 键值缓存，长度上限为 32768 个 token。

vllm serve flechin/Qwen3.8-27B-Randean-MXFP4 \
  --served-model-name Qwen3.8-27B-Randean-MXFP4 \
  --trust-remote-code \
  --quantization quark \
  --kv-cache-dtype fp8_e4m3 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_xml \
  --max-model-len 32768

想要更高速度，模型卡加入了配合第二个模型的推测解码。

vllm serve flechin/Qwen3.8-27B-Randean-MXFP4 \
  --served-model-name Qwen3.8-27B-Randean-MXFP4 \
  --trust-remote-code \
  --quantization quark \
  --kv-cache-dtype fp8_e4m3 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_xml \
  --speculative-config '{"method":"dflash","model":"syvai/Qwen3.8-27B-DFlash2-W4A16","num_speculative_tokens":15}' \
  --max-model-len 32768

工具 | 作用
vllm serve | 把模型作为本地服务启动
--reasoning-parser qwen3 | 把思考部分和最终回答分开
--tool-call-parser qwen3_xml | 读取模型以 XML 形式写出的工具调用
--speculative-config | 用第二个更小的模型开启推测解码

示例：你启动标准服务，然后发送一个建立在错误前提上的问题，比如一个明显不对的说法。模型卡说模型倾向于直接指出，而不是给出两边都说一说的回答。

新手与专家：推理模型会在回答之前先在思考部分把问题过一遍。一个稳妥的第一步是读一读模型卡里的结果表，如果你有 32 GB 的 GPU，再启动标准服务。

作者在 AMD Quark 模型的基础上，用原生 OCP MXFP4 配合 QLoRA 和 ORPO 做了训练。模型卡报告了 BullshitBench v2 上 2.0 分满分里的 1.96 分、HumanEval 上 98.8%，以及自己任务集上 90 项里的 86 项，思考过程缩短了 12.6%。它也显示了小幅下降，比如编程任务 20 项里是 19 项，而原版模型是 20 项。这些是作者在小型测试集上的数字。

你下载权重
vLLM 在一块 GPU 上加载 MXFP4 模型
你的提示词发给所提供的模型
它先思考，然后回答或调用工具

Title: 作者报告的分数，原版模型与此模型对比
Grounding suite, stock: 57.1 percent
Grounding suite, this model: 77.4 percent
90-task suite, stock: 92.2 percent
90-task suite, this model: 95.6 percent
HumanEval, stock: 96.2 percent
HumanEval, this model: 98.8 percent

注意事项：

• License：apache-2.0，以 Hugging Face 上列出的为准
• Cost to run：没有提到，只需要一块约 32 GB 内存的 GPU
• Data it reaches：你发给自己服务器的提示词和图片，来源没有提到网络或账号访问
• 服务命令设置了 trust-remote-code，所以仓库自带的代码会在你的机器上运行
• 模型卡自己的表格显示，GSM8K 和编程任务集上有小幅下降
• Not for：没有大内存 GPU 的机器，因为模型卡的快速路径假定有 32 GB

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：15.6B
• Weights: about 15.6 GB in U8
• Formats: Safetensors
• 最近 30 天下载：121
• 点赞：5
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, mxfp4, quark, orpo, qlora, reasoning, epistemology, reality-aligned, de-hedged

链接

• 模型：https://huggingface.co/flechin/Qwen3.8-27B-Randean-MXFP4
• 文件：https://huggingface.co/flechin/Qwen3.8-27B-Randean-MXFP4/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download flechin/Qwen3.8-27B-Randean-MXFP4

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。