MiMo-V2.6-Flash-RL-NVFP4

MiMo-V2.6-Flash-RL-NVFP4

为 Blackwell GPU 提供小米 MiMo-V2.6-Flash-RL 的 NVFP4 版本，专家权重值与官方发布完全一致，在两块 96 GB 显卡上吞吐更高。适合自托管大模型的人。

由 primitive-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 XiaomiMiMo 的 MiMo-V2.6-Flash-RL 的 NVFP4 版本，一个 159B 的文本生成模型，打包为 182.40 GB，可以在两块 96 GB 显卡上运行。小米发布的模型本来就是 4 位专家，所以这个版本只改变专家格式，每个专家的值都与发布版一致。它面向 Blackwell GPU。

适合谁：适合在自己硬件上托管大模型，并拥有两块 96 GB Blackwell 显卡的人。熟悉 Docker 和 vLLM 的人更合适。

行业 | 谁在用 | 怎么用 | 例子
自托管 AI | 基础设施工程师 | 在两块 Blackwell 显卡上运行大模型 | 为内部团队提供一个 OpenAI 风格的接口
AI 工具 | 智能体开发者 | 使用支持工具调用的模型 | 让智能体通过服务器的解析器调用工具
模型评测 | 研究者 | 在同一个模型上比较 4 位格式 | 把 NVFP4 与发布版的 MXFP4 专家对比

没有 Blackwell GPU 的人可以跳过，因为说明页称它要求这类显卡。

用在哪里：

• 一台带 Docker 和两块 96 GB NVIDIA Blackwell GPU 的机器。
• vLLM，通过说明页提到的 MiMo 镜像。
• 发往 8000 端口服务器的 OpenAI 风格请求。
• Windows、macOS 或 Linux：文件下载在这三个系统上都能用 Python 完成。

使用场景 | 谁用 | 得到什么
托管聊天 | 基础设施工程师 | 按配置上限 131,072 词元的模型回复
工具调用 | 智能体开发者 | 由服务器的 mimo 解析器解析出的工具调用
吞吐测试 | 研究者 | 一个和十六个并发请求下实测的速度

如何设置：

先准备好：

• Python 和 pip，用来下载文件。
• 带 GPU 访问的 Docker。
• 两块 96 GB 的 NVIDIA Blackwell GPU。
• 放文件的空间，总共 182.40 GB。

1. 用 hf 命令把模型下载到本地文件夹。
2. 按命令里的写法，把 vllm_patch 文件挂载进 vLLM 镜像。
3. 用模型路径和所示参数启动容器。

hf download primitive-ai/MiMo-V2.6-Flash-RL-NVFP4 --local-dir ./MiMo-V2.6-Flash-RL-NVFP4

SP=/usr/local/lib/python3.12/dist-packages/vllm
docker run --gpus all --ipc=host --shm-size 32g -p 8000:8000 -v $PWD:/models \
  -v $PWD/MiMo-V2.6-Flash-RL-NVFP4/vllm_patch/mimo_v2.py:$SP/model_executor/models/mimo_v2.py:ro \
  vllm/vllm-openai:mimo-v26-x86_64-cu130 \
  --model /models/MiMo-V2.6-Flash-RL-NVFP4 \
  --tensor-parallel-size 2 --trust-remote-code --generation-config vllm \
  --max-model-len 131072 --gpu-memory-utilization 0.95 \
  --limit-mm-per-prompt '{"image":4,"video":0,"audio":0}' \
  --reasoning-parser mimo --tool-call-parser mimo --enable-auto-tool-choice

这个补丁文件很关键。如果漏掉挂载，模型会加载失败并抛出 KeyError。镜像里的加载器期望的是发布版自己的 FP8 命名。

如何使用：

容器运行后，向 8000 端口发送聊天请求。mimo 的推理和工具调用解析器已开启，一个提示词里最多可放 4 张图像。把 audio 的限制设为 0，音频编码器就不会被加载。

Title: 启动命令里的参数
工具 | 作用
--tensor-parallel-size 2 | 把模型拆分到两块 GPU 上
--max-model-len 131072 | 设定服务器接受的最长上下文
--reasoning-parser mimo | 把模型的思考和答案分开
--tool-call-parser mimo | 把工具调用转成结构化输出
--limit-mm-per-prompt | 每个提示词允许 4 张图像，不允许视频或音频

示例：

你启动容器，然后发送一个带工具定义的聊天请求。服务器通过它的 mimo 解析器回答，解析器会挑出推理内容和任何工具调用。说明页测得的工具调用准确度是 78.6，与发布版相同。

新手与专家：

这是一个为特殊硬件准备的大模型，不是随手下载的东西。一个好的第一步是，在取回 182.40 GB 之前，先确认你有两块 96 GB 的 Blackwell 显卡。

发布版用 MXFP4 存专家，每 32 个权重一个 E8M0 缩放。这个版本把它换成每 16 个权重两个 E4M3 缩放，外加一个 2 的幂的全局缩放。每个值都原样保留，无需取整。每一层都有自己的激活缩放，因为最后一个 MoE 层在作者的提示词上产生接近 60,000 的值。NVFP4 每个权重用 4.5 比特，而不是 4.25，所以这个版本大了 9.48 GB，KV 缓存池也变小了。

下载 NVFP4 文件
把 vllm_patch 文件挂载进镜像
在两块 Blackwell GPU 上启动 vLLM
向 8000 端口发送聊天和工具请求

注意事项：作者在两块 RTX PRO 6000 Blackwell 显卡上测试，吞吐数字用的是 16 个并发请求。

Title: 16 个并发请求下的吞吐
发布版，MXFP4 专家: 402 tok/s
这个版本，NVFP4 专家: 532 tok/s

• 分数：知识类 91.1，发布版是 90.3，工具调用两者都是 78.6。
• 缓存：KV 池能容纳 250,094 个词元，发布版是 627,110 个。
• 推测解码：草稿模型按发布版原样提供，但没有在这个版本上测过。
• License: mit
• Cost to run: 没有提到 API 密钥或账号，但需要两块 96 GB 的 Blackwell GPU。
• Data it reaches: 你从 Hugging Face 下载的文件，以及你发给自己服务器的提示词和图像。
• Not for: 比 Blackwell 更老的 GPU，或想要 BF16 起点的人，因为并不存在这样的版本。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：159B
• Weights: about 159 GB in U8
• Formats: Safetensors
• 最近 30 天下载：298
• 点赞：4
• 许可证：mit
• 基于：XiaomiMiMo/MiMo-V2.6-Flash-RL
• 标签：transformers, safetensors, mimo_v2, text-generation, vllm, modelopt, nvfp4, quantized, mimo, mimo-v2.6, agentic, tool-calling

链接

• 模型：https://huggingface.co/primitive-ai/MiMo-V2.6-Flash-RL-NVFP4
• 文件：https://huggingface.co/primitive-ai/MiMo-V2.6-Flash-RL-NVFP4/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download primitive-ai/MiMo-V2.6-Flash-RL-NVFP4

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。