DeepSeek-V4.1-Flash-1017-Basalt

DeepSeek-V4.1-Flash-1017-Basalt

把 DeepSeek V4.1 Flash 打包成单个模型文件供 Basalt 引擎使用，它在一张 NVIDIA Blackwell GPU 上运行，放不下的专家由系统内存承担。支持图片，上下文最长 1,048,576 个词元。

由 jesdga 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Basalt 在 NVIDIA Blackwell 显卡上本地运行语言模型，并通过模仿 OpenAI 和 Anthropic 的 API 来提供服务。这个仓库为它提供模型文件。每个文件把 DeepSeek-V4.1-Flash-1017 的一个 Unsloth 量化版本与权重、Engram 表、视觉投影器、分词器和 DSpark 草稿模型打包在一起。你需要 Basalt 0.3.0 或更高版本。

适合谁：它适合拥有较新 NVIDIA 工作站显卡、想在本地通过熟悉的 API 运行超大开放模型的人。

行业 | 谁在用 | 怎么用 | 例子
本地 AI 爱好 | 爱好者 | 在家用工作站上运行大型 DeepSeek 模型 | 在一张 Blackwell 卡上和它聊天
软件开发 | 开发者 | 让 OpenAI 风格或 Anthropic 风格的客户端指向本地服务器 | 运行很长的智能体编码会话
视觉任务 | 应用开发者 | 通过引擎把图片发给模型 | 开启视觉参数后询问一张截图
量化研究 | 研究者 | 把每个包与 BF16 参考做对比 | 查看困惑度和 KLD 表

如果你没有 NVIDIA Blackwell GPU，可以跳过它，因为引擎针对的就是这种架构。

用在哪里：

• NVIDIA Blackwell GPU 上的 Basalt 引擎
• 一张 GPU，可选再加第二张 GPU 来放额外的专家
• 备用的系统内存，用来放超出 GPU 容量的专家
• 装有 Python 的 Windows、macOS 或 Linux，只用来下载文件

用例 | 谁用 | 得到什么
本地聊天和编码 | 开发者 | 通过 OpenAI 风格或 Anthropic 风格 API 得到的文字回答
图片提问 | 应用开发者 | 关于在引擎内部编码的图片的回答
长上下文 | 分析师 | 最长 1,048,576 个词元的上下文

如何设置：你需要一张 Blackwell GPU、按自己的 README 构建的 Basalt 引擎，以及放这个包的磁盘空间，260 GB 或 285 GB。

• 一张 NVIDIA Blackwell GPU，比如模型卡测试用的 RTX 5090
• Basalt 0.3.0 或更高版本，按它的 README 构建
• 小包 260 GB，大包 285 GB
• 用来下载包的 Python 和 huggingface_hub

1. 按 Basalt 的 README 构建引擎。
2. 把一个包文件下载到 models 文件夹。
3. 用那个文件启动服务器。

pip install -U huggingface_hub

hf download jesdga/DeepSeek-V4.1-Flash-1017-Basalt DeepSeek-V4.1-Flash-1017-UD-IQ1_M.basalt --local-dir models   # or the UD-IQ2_XXS file

如何使用：你用 basalt serve 来提供一个包的服务。可以加参数来使用第二张卡、更长的上下文或图片输入。你不需要自己设置提示词格式，因为文件里带着它，还带着工具调用的样子和思考的开关方式。

bin/basalt serve models/DeepSeek-V4.1-Flash-1017-UD-IQ1_M.basalt --vision dynamic

工具 | 作用
--vision dynamic | 开启图片输入，由引擎内部编码
--max-context | 设置更长的上下文，最长 1,048,576 个词元
--gpu 0,1 | 使用第二张卡
--spec 0 | 关闭 DSpark 草稿模型

示例：你用小包和视觉参数启动服务器，再从 OpenAI 风格的客户端发送一张图片和一个问题。引擎会自己对图片编码，模型用文字回答。

新手与专家：如果你刚接触这类模型，可以把它看成被压进一个文件、供一张高端显卡使用的巨型模型。第一次可以先下载小包，再用上面的命令启动服务器。

对熟悉这个领域的人来说，两个包是在速度和质量之间取舍。UD-IQ1_M 更快，更多的模型留在内存里，而 UD-IQ2_XXS 更接近 BF16，但专家溢出到磁盘时会变慢。DSpark 每次起草三个词元，由主模型验证，所以输出仍是模型自己的。

Title: 散文生成速度，单位 tokens/s
UD-IQ1_M: 94 tokens/s
UD-IQ2_XXS: 45 tokens/s

你下载一个包文件
Basalt 把它加载到 Blackwell GPU 上
放不下的专家留在系统内存
API 返回文字，开启视觉时也能处理图片

注意事项：模型卡报告的速度和质量来自它自己的运行，并说明这些数字会随每个版本变化。

• License: MIT，涵盖 DeepSeek 模型、Unsloth 的量化和 Basalt 引擎
• Cost to run: 未提及，不过你需要 Blackwell GPU 以及很大的磁盘和内存
• Data it reaches: 本地文件和系统内存，溢出的专家会放到磁盘
• Not for: NVIDIA Blackwell 之外的 GPU，或 0.3.0 之前的 Basalt 版本

Hugging Face 上的数据（2026年11月13日）

• 最近 30 天下载：0
• 点赞：11
• 许可证：mit
• 基于：deepseek-ai/DeepSeek-V4.1-Flash-1017
• 标签：basalt

链接

• 模型：https://huggingface.co/jesdga/DeepSeek-V4.1-Flash-1017-Basalt
• 文件：https://huggingface.co/jesdga/DeepSeek-V4.1-Flash-1017-Basalt/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download jesdga/DeepSeek-V4.1-Flash-1017-Basalt

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。