DeepSeek-V4.1-Flash-1017 Maya GGUF

DeepSeek-V4.1-Flash-1017 Maya GGUF

通过为 Project Maya 制作的两种 GGUF 量化版本，在家用电脑上运行 748B 的 DeepSeek 混合专家模型。适合有大内存机器和高速 SSD 的人。

由 peasantsmith 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本，是为 Project Maya 制作的。该模型是混合专家结构，每层有 384 个路由专家，每个 token 激活 6 个。Project Maya 把调用最多的专家放到 GPU 上，其余的按需从内存和 SSD 加载。这样模型所需的内存比它的体量所暗示的少得多。

适合谁：想在自己硬件上运行巨型开源模型、并且能接受大体积下载的爱好者和开发者。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 用兼容的 API 提供大型本地模型服务 | 让智能体工具指向本地地址
研究 | AI 爱好者 | 在一台电脑上测试大型混合专家模型 | 用自己的提示词比较两种量化版本
自托管 | 注重隐私的用户 | 让提示词留在自己的机器上 | 不把文字发到云端就能聊天

如果你的电脑内存不多，也没有多余的 SSD 空间，可以跳过它。

用在哪里：

• 带 GPU、大内存和高速 SSD 的台式机
• Windows 上用 START-MAYA.bat 启动器，Linux 和 macOS 上用安装脚本
• 能连接你本机上 OpenAI 风格或 Anthropic 风格 API 的工具

Use case | Who | What they get back
本地聊天 | 个人 | 你本机上用来和模型对话的仪表盘
应用开发 | 开发者 | 支持流式输出、工具调用和图片的 API
量化研究 | 研究人员 | 可与原始模型对比的两个量化版本

如何设置：

• 内存和磁盘足够的电脑，Maya-S 需下载约 347.5 GB，Maya-XS 需下载 280.9 GB
• 一块 GPU，因为安装脚本会为它编译引擎
• Git，用来获取模型卡链接的 Project Maya 仓库

1. 克隆 Project Maya 仓库。
2. 用模型名和你想要的量化版本 maya-s 或 maya-xs 运行安装脚本。
3. 让它检查电脑、下载文件、构建引擎并启动。

./setup.sh --setup --model DeepSeek-V4.1-Flash-1017 --ds4-quant maya-s     # Windows: START-MAYA.bat
./setup.sh --setup --model DeepSeek-V4.1-Flash-1017 --ds4-quant maya-xs    # v1.1.22 or later

你也可以只用 Hugging Face 工具下载文件。

pip install -U huggingface_hub
hf download peasantsmith/DeepSeek-V4.1-Flash-1017-Maya-GGUF

如何使用：安装完成后，引擎会在你本机的 8080 端口启动一个仪表盘。同一个地址还提供兼容 OpenAI 和 Anthropic 格式的 API，支持流式输出、工具调用和图片。

Tool | What it does
setup.sh --setup | 检查电脑、下载经过校验的文件、构建引擎并启动
--ds4-quant maya-s | 选择最接近原始模型的量化版本
--ds4-quant maya-xs | 选择更小、能放进 128 GB 电脑的版本

示例：你在一台 128 GB 的电脑上用 maya-xs 运行安装命令。完成后，你打开 8080 端口的仪表盘和模型聊天，模型放在内存里，Engram 表则从 SSD 读取。

新手与专家：如果你是新手，电脑有 128 GB 内存就选 Maya-XS，其余交给安装脚本。要有心理准备，下载量有几百 GB。

如果你是专家，专家权重用类似 GPTQ 的误差反馈取整，每个专家有自己的重要性矩阵，校准文本采用 DeepSeek 的对话格式。注意力、共享专家、词嵌入和输出保持 Q8_0，文件是普通的 llama.cpp GGUF。

DeepSeek 自己的 FP4 和 FP8 发布版是来源
专家权重用误差反馈做量化
Engram 表以 Q6_K 存在 SSD 上
Project Maya 在 GPU、内存和 SSD 之间运行模型

注意事项：模型卡在保留的文本上，把两个量化版本和原始模型做了对比测量。原始权重经过 Maya 引擎得到 96.4%，这是引擎自身的取整误差。

Title: 与原始模型预测相同的首选 token
原始权重在 Maya 引擎中: 96.4 %
Maya-S: 92.6 %
Maya-XS: 87.5 %

Title: 模型卡中的两个量化版本
Property | Maya-S | Maya-XS
内存中的模型 | 178.2 GB | 115.3 GB
全部文件下载量 | 347.5 GB | 280.9 GB
与原始模型相比的下一个 token 损失 | +3.2% | +8.7%

• License: MIT，与 DeepSeek 原始模型相同。
• Cost to run: 没有提到 API 密钥或账号。你需要自备大型电脑和大量磁盘空间。
• Data it reaches: 安装脚本会下载带校验和的文件，并从 DeepSeek 的检查点获取视觉部分。API 只在你自己的机器上监听。
• Not for: 小型机器。仅 Engram 表就占 161.3 GB 的 SSD 空间。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：5.1K
• Weights: about 1 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：212,220
• 点赞：66
• 许可证：mit
• 基于：deepseek-ai/DeepSeek-V4.1-Flash-1017
• Quantized versions: 3
• 标签：gguf, imatrix, mixture-of-experts, deepseek, project-maya, text-generation

链接

• 模型：https://huggingface.co/peasantsmith/DeepSeek-V4.1-Flash-1017-Maya-GGUF
• 文件：https://huggingface.co/peasantsmith/DeepSeek-V4.1-Flash-1017-Maya-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download peasantsmith/DeepSeek-V4.1-Flash-1017-Maya-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。