DeepSeek-R1-GGUF

DeepSeek-R1-GGUF

671B 参数 DeepSeek-R1 推理模型的 GGUF 版本，带 1.58-bit 和 2-bit 动态量化，可在内存足够的本机上用 llama.cpp 运行。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：DeepSeek-R1-GGUF 是 unsloth 制作的 671B 参数 DeepSeek-R1 模型的一组 GGUF 文件。它们把模型压小，让 llama.cpp 能在你自己的硬件上加载。

模型卡说，它的 1.58-bit 和 2-bit 动态量化会有选择地量化各层，因此精度比普通的 1-bit 或 2-bit 版本更高。

适合谁：想在本地运行大型推理模型的开发者和爱好者，需要一台内存很大、最好带 Nvidia GPU 的机器。你还得习惯从源码构建 llama.cpp。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 离线运行推理模型来辅助编程 | 让它写一个小型 Python 游戏
研究 | 机器学习研究人员 | 比较同一个大模型的极低比特量化版本 | 用你自己的提示词试 1.58-bit 文件
硬件爱好者 | 家庭实验室玩家 | 测试大模型在一台机器上能装到什么程度 | 把部分层卸载到 24GB 的 GPU

没有大内存机器的人可以略过它，因为即使 4-bit 权重也估计约 336 GB。

用在哪里：

• llama.cpp，按模型卡的步骤从源码构建并开启 CUDA
• Linux 机器，因为构建步骤用到 apt-get
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件
• 带 24GB GPU 的电脑，比如 RTX 4090，如果你想卸载部分层

使用场景 | 谁用 | 得到什么
在本地运行推理模型 | 开发者 | 以思考部分开头的回答
根据提示词写代码 | 程序员 | 针对类似模型卡里 Flappy Bird 游戏请求的 Python 代码
测试 1.58-bit 量化 | 研究人员 | 看到极小量化版本在你的提示词上表现如何

如何设置：开始前，先为大文件下载和大内存做好准备。

• Python 和 pip，用于 Hugging Face 下载工具
• 从源码构建的 llama.cpp，并装好编译工具链、cmake 和 curl 开发包
• 放权重的内存，4-bit 约 336 GB（估算）
• 可选：24GB 的 GPU，用来卸载部分层

1. 获取最新的 llama.cpp 并用 cmake 构建。模型卡先用 apt-get 安装构建依赖，并开启 CUDA。
2. 构建 llama-quantize、llama-cli 和 llama-gguf-split 这几个目标。
3. 只下载你要的量化类型。模型卡里的代码选的是 UD-IQ1_S，也就是 1.58-bit 那个。
4. 对第一个 GGUF 文件运行 llama-cli。

Hugging Face 给的普通命令会下载仓库里的每个文件，所以下面按模式筛选的下载方式更轻量。

pip install -U huggingface_hub
hf download unsloth/DeepSeek-R1-GGUF

# pip install huggingface_hub hf_transfer
# import os # Optional for faster downloading
# os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"

from huggingface_hub import snapshot_download
snapshot_download(
  repo_id = "unsloth/DeepSeek-R1-GGUF",
  local_dir = "DeepSeek-R1-GGUF",
  allow_patterns = ["*UD-IQ1_S*"], # Select quant type UD-IQ1_S for 1.58bit
)

如何使用：你用 llama-cli 运行模型。把提示词放在 User 和 Assistant 标记之间，或者让聊天模板工具替你加上。模型卡建议把 min-p 设为 0.05，以压低极罕见 token 的选取，作者发现这对 1.58-bit 模型效果不错。参数 -no-cnv 会关闭自动对话模式。

./llama.cpp/llama-cli \
  --model DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
  --cache-type-k q4_0 \
  --threads 12 -no-cnv --prio 2 \
  --temp 0.6 \
  --ctx-size 8192 \
  --seed 3407 \
  --prompt "<｜User｜>Create a Flappy Bird game in Python.<｜Assistant｜>"

有 GPU 时，加上层卸载参数，把部分层放到 GPU 上。有多块 GPU 时，大概可以卸载更多层。要把拆分的文件合成一个，运行合并工具。

./llama.cpp/llama-cli \
  --model DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
  --cache-type-k q4_0 \
  --threads 12 -no-cnv --prio 2 \
  --n-gpu-layers 7 \
  --temp 0.6 \
  --ctx-size 8192 \
  --seed 3407 \
  --prompt "<｜User｜>Create a Flappy Bird game in Python.<｜Assistant｜>"

./llama.cpp/llama-gguf-split --merge \
  DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
  merged_file.gguf

工具 | 作用
llama-cli | 加载 GGUF 文件，并在终端里回答你的提示词
llama-gguf-split | 把拆分的 GGUF 文件合并成一个文件
snapshot_download | 只获取匹配某个模式的文件，比如某一种量化类型

示例：你在 User 和 Assistant 标记里输入 "Create a Flappy Bird game in Python."。模型卡里的示例输出显示，模型先给出一个思考部分，在回答之前自己把问题过一遍。

新手与专家：这是一个被压进小得多的文件里的超大模型，但它仍然需要很多内存。第一步可以先读构建步骤，再只下载一种量化类型。

从底层看，它是 671B 参数的 DeepSeek-R1，格式为 GGUF。动态量化对各层区别对待来保持精度，代价是比特数最低的版本相比完整模型仍会损失一些质量。这里展示的模型卡部分没有给出基准测试数字。

开启 CUDA 构建 llama.cpp
下载一种量化类型
对第一个文件运行 llama-cli
先看思考部分，再看回答

注意事项：文件很大，安装要手动完成，所以下载前先检查你的内存和磁盘。

• 规模：671B 参数，仅 GGUF 格式，语言标注为英语
• 变体：Hugging Face 显示别人做的 7 个微调版本
• License: MIT
• Cost to run: 没有提到 API 密钥或付费服务，但真正的成本是硬件，4-bit 权重约 336 GB
• Data it reaches: 你从 Hugging Face 下载的文件，以及你输入 llama-cli 的提示词
• Not for: 模型卡除许可证外没有列出其他限制

Hugging Face 上的数据（2026年11月15日）

• 任务：text generation
• 框架：transformers
• 参数量：671B
• Weights: about 336 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：46,994
• 点赞：1,128
• 许可证：mit
• 语言：en
• 基于：deepseek-ai/DeepSeek-R1
• Fine-tunes: 7
• 标签：transformers, gguf, deepseek_v3, text-generation, deepseek, unsloth, conversational

链接

• 模型：https://huggingface.co/unsloth/DeepSeek-R1-GGUF
• 文件：https://huggingface.co/unsloth/DeepSeek-R1-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/DeepSeek-R1-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。