MedErtas v0.1 31B LS

MedErtas v0.1 31B LS

在 vLLM 和 NVIDIA Blackwell GPU 上运行面向医疗领域的语言模型，它是压缩后的 Gemma 4 31B。适合需要在考题、编码和答案核查任务上又快又省的医疗 AI 产品。

由 ErtasAI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：MedErtas v0.1 31B LS 是一个公开权重的语言模型，面向医疗 AI 领域的产品。它是 Google 的 Gemma 4 31B，用医疗数据做校准压缩，所以部署更快、成本更低。模型卡称它在医学知识、ICD-10 编码、答案核查和识别无法回答的问题上表现最好。

适合谁：它适合构建医疗 AI 产品、并在 NVIDIA Blackwell GPU 上自己托管模型的团队。

Title: 谁在用
Industry | Who uses it | How they use it | Example
医疗软件 | 产品团队 | 部署模型来做考题式回答和 ICD-10 编码 | 临床工具里的编码助手
健康教育 | 学习工具开发者 | 回答考题式的医学问题 | 练习题助手
研究 | 评测研究者 | 把压缩版本与 BF16 和其他 NVFP4 版本比较 | 重跑模型卡里的医学测试集

如果你没有 Blackwell GPU，可以跳过它，因为 NVFP4 格式需要这种显卡。

用在哪里：

• vLLM 0.32.0，模型卡测量所用的运行环境
• NVIDIA Blackwell GPU：在一块 96 GB 的 RTX PRO 6000 上测量
• Perigee：一个 1.0 GB 的草稿模型，用来加快解码
• Ertas AI 网关和 API：模型卡给出的托管选项

Title: 它能做的事
Use case | Who | What they get back
考题式回答 | 产品团队 | 模型卡测试中 MedQA 得分 93.0
ICD-10 编码 | 编码工具开发者 | MedConceptsQA hard 得分 69.1
幻觉核查 | 安全审核者 | MedHallu hard 得分 64.1
从长病历中取事实 | 临床软件团队 | LongHealth task 1 得分 90.2

如何设置：

• 一块有足够内存放下 24.2 GB 权重的 NVIDIA Blackwell GPU
• vLLM 0.32.0
• Windows、macOS 或 Linux 上的 Python，用于下载文件

1. 安装 Hugging Face Hub 工具。
2. 下载模型文件。
3. 按模型卡的说明在 vLLM 上部署，想要更快的解码就配上 Perigee。

pip install -U huggingface_hub
hf download ErtasAI/MedErtas-v0.1-31B-LS

如何使用：
vLLM 部署好模型后，你以文本形式向它提医学问题。模型卡是在关闭思考的情况下打分的。它还提到两个配套版本。

Title: 相关的 MedErtas 版本
Tool | What it does
MedErtas-v0.1-31B-LS-Perigee | 1.0 GB 的草稿模型，用医学回答调过，用来加快解码
MedErtas-v0.1-27B-LS | 同系列版本，MedCalc-Bench 得 77.3，这里是 63.9

hf download ErtasAI/MedErtas-v0.1-31B-LS

示例：
你问一道考题式的问题，比如某个简短病情描述对应哪个 ICD-10 编码。模型用文字回答。在模型卡的测试里，它的 MedQA 得分是 93.0，接近 BF16 原版的 93.2。

新手与专家：
如果你是新手，这是一个面向医疗产品的大语言模型，从 62.6 GB 压缩到 24.2 GB，所以部署更便宜。第一件小事是运行那两条下载命令，然后看模型卡里“该选哪个 MedErtas 模型”的表。

如果你懂这个领域，权重使用 NVFP4 W4A4，并把注意力层保留为 FP8，这个选择比纯 NVFP4 多占 0.9 GB。模型卡称这样让临床计算与 BF16 相差不超过 1.4 分。代价在硬件和范围：只能用 Blackwell，而且上下文长度只测了 65,536 词元。

从 Gemma 4 31B 出发
用医疗数据校准
量化为 NVFP4，注意力用 FP8
在医学测试集上与 BF16 对比打分
在 vLLM 上用 Perigee 部署

注意事项：

Title: MedCalc-Bench 1.2 得分
BF16: 65.3 points
This model: 63.9 points
NVIDIA NVFP4: 61.2 points
Red Hat NVFP4: 58.9 points

• 得分：模型卡称它达到 BF16 在 12 个医学测试集上平均分的 99.6%。
• 速度：单个用户在计算类任务上的解码速度是 189 tokens/s，BF16 是 22.5。
• 硬件：NVFP4 W4A4 需要 NVIDIA Blackwell GPU，更小的显卡没有测过。
• 上下文：测量到 65,536 词元，基础模型更长的上下文在这里没有测过。
• License：apache-2.0，继承自 Gemma 4。
• Cost to run：一块 Blackwell GPU，或者托管的 Ertas API，模型卡没有给出价格。
• Data it reaches：你从 Hugging Face 下载文件，模型卡没有提到别的访问。
• Not for：以计算为主的工作，比如剂量和风险评分，模型卡建议改用 27B 版本。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：vllm
• 参数量：20.9B
• Weights: about 20.9 GB in U8
• Formats: Safetensors
• 最近 30 天下载：59,001
• 点赞：3
• 许可证：apache-2.0
• 语言：en
• 基于：google/gemma-4-31B-it
• 标签：vllm, safetensors, gemma4, medical, clinical, nvfp4, compressed-tensors, speculative-decoding, ertas, medertas, text-generation, conversational

链接

• 模型：https://huggingface.co/ErtasAI/MedErtas-v0.1-31B-LS
• 文件：https://huggingface.co/ErtasAI/MedErtas-v0.1-31B-LS/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ErtasAI/MedErtas-v0.1-31B-LS

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。