DeepSeek-R1-GGUF
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
Qwen2.5 里最小的基础模型,约 4.94 亿参数,上下文 32,768 个词元,用来在你自己的数据上继续训练。适合想在微型语言模型上搭建的开发者。
Qwen2.5-0.5B 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download Qwen/Qwen2.5-0.5B
Qwen2.5-0.5B 是 Qwen 团队 Qwen2.5 系列里最小的预训练基础模型。这个系列从 5 亿到 720 亿参数。它是一个因果语言模型,有 24 层、14 个查询头和 2 个键值头,一次最多能读 32,768 个词元。它是基础模型,所以还没有被教过如何对话。
想要一个很轻的模型来微调、快速测试,或放在小设备上的开发者和研究者。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 软件 | 机器学习工程师 | 为一项工作微调小模型 | 训练它为你的应用输出 JSON |
| AI 研究 | 研究者 | 用紧凑的基础模型做快速实验 | 几分钟内试一个新的训练想法 |
| 教育 | 学生 | 在普通硬件上学习语言模型训练 | 在笔记本或免费 GPU 上微调它 |
想要下载后立刻就能聊得很好的模型的人可以跳过,因为说明页不建议用这个基础模型来对话。
| 使用场景 | 谁用 | 得到什么 |
|---|---|---|
| 微调 | 机器学习工程师 | 适应你任务的小模型 |
| 结构化输出 | 应用开发者 | 偏向 JSON 或表格式回答的模型 |
| 研究基线 | 研究者 | 一个低成本的参照模型 |
先准备好:
pip install -U huggingface_hub hf download Qwen/Qwen2.5-0.5B
用 transformers 加载模型,并按你的用途继续训练。说明页这里没有给代码,所以加载和训练请看 Qwen 文档和 transformers 指南。
| 工具 | 作用 |
|---|---|
| SFT | 用示例回答教模型 |
| RLHF | 用人类反馈来调优 |
| 继续预训练 | 在更多原始文本上继续训练 |
你准备几千个杂乱文本配上干净 JSON 的例子,然后在这个模型上做监督微调。最后你得到一个小型提取器,能从你自己的文档里返回结构化数据。
基础模型只是读过文本,学会了预测下一个词。它没有被教过遵循指令。微调就是做这件事的那一步。一个好的第一步是用几十个例子微调,并比较前后的回复。
这个系列声称在知识、编程、数学、遵循指令、长文本和结构化输出上比 Qwen2 有提升,并支持 29 种以上语言。这些说法针对整个系列,说明页没有给出这个尺寸的分数。它的架构用了 RoPE、SwiGLU、RMSNorm、注意力里的 QKV 偏置和绑定嵌入,非嵌入参数为 0.36B。
记录估算了权重占用的空间。
Qwen2.5 里最小的基础模型,约 4.94 亿参数,上下文 32,768 个词元,用来在你自己的数据上继续训练。适合想在微型语言模型上搭建的开发者。
由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Qwen2.5-0.5B 是 Qwen 团队 Qwen2.5 系列里最小的预训练基础模型。这个系列从 5 亿到 720 亿参数。它是一个因果语言模型,有 24 层、14 个查询头和 2 个键值头,一次最多能读 32,768 个词元。它是基础模型,所以还没有被教过如何对话。
适合谁:想要一个很轻的模型来微调、快速测试,或放在小设备上的开发者和研究者。
行业 | 谁在用 | 怎么用 | 例子
软件 | 机器学习工程师 | 为一项工作微调小模型 | 训练它为你的应用输出 JSON
AI 研究 | 研究者 | 用紧凑的基础模型做快速实验 | 几分钟内试一个新的训练想法
教育 | 学生 | 在普通硬件上学习语言模型训练 | 在笔记本或免费 GPU 上微调它
想要下载后立刻就能聊得很好的模型的人可以跳过,因为说明页不建议用这个基础模型来对话。
用在哪里:
使用场景 | 谁用 | 得到什么
微调 | 机器学习工程师 | 适应你任务的小模型
结构化输出 | 应用开发者 | 偏向 JSON 或表格式回答的模型
研究基线 | 研究者 | 一个低成本的参照模型
如何设置:
先准备好:
pip install -U huggingface_hub
hf download Qwen/Qwen2.5-0.5B
如何使用:
用 transformers 加载模型,并按你的用途继续训练。说明页这里没有给代码,所以加载和训练请看 Qwen 文档和 transformers 指南。
Title: 说明页提到的训练途径
工具 | 作用
SFT | 用示例回答教模型
RLHF | 用人类反馈来调优
继续预训练 | 在更多原始文本上继续训练
示例:
你准备几千个杂乱文本配上干净 JSON 的例子,然后在这个模型上做监督微调。最后你得到一个小型提取器,能从你自己的文档里返回结构化数据。
新手与专家:
基础模型只是读过文本,学会了预测下一个词。它没有被教过遵循指令。微调就是做这件事的那一步。一个好的第一步是用几十个例子微调,并比较前后的回复。
这个系列声称在知识、编程、数学、遵循指令、长文本和结构化输出上比 Qwen2 有提升,并支持 29 种以上语言。这些说法针对整个系列,说明页没有给出这个尺寸的分数。它的架构用了 RoPE、SwiGLU、RMSNorm、注意力里的 QKV 偏置和绑定嵌入,非嵌入参数为 0.36B。
下载基础模型
准备你自己的训练数据
用 SFT 或 RLHF 做后训练
在你的任务上测试结果
注意事项:记录估算了权重占用的空间。
Title: 权重大小,估算
BF16: 988 MB
4-bit: 247 MB
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download Qwen/Qwen2.5-0.5B
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Qwen2.5-0.5B 本页 | 1,163,625 | 494 | 494M | apache-2.0 | |
| Qwen2.5-7B-Instruct共有 qwen2 · text-generation · conversational | 6,364,238 | 2,494 | 7.6B | apache-2.0 | |
| Qwen2.5-1.5B-Instruct共有 qwen2 · text-generation · conversational | 5,181,515 | 941 | 1.5B | apache-2.0 | |
| Qwen2.5-0.5B-Instruct共有 qwen2 · text-generation · conversational | 4,292,272 | 743 | 494M | apache-2.0 | |
| Qwen2.5-Coder-14B-Instruct共有 qwen2 · text-generation · conversational | 1,860,327 | 214 | 14.8B | apache-2.0 | |
| Qwen2.5-7B-Instruct-AWQ共有 qwen2 · text-generation · conversational | 1,578,054 | 63 | 7.6B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
prithivMLmods · 工具包
提供 Axion-1.0-35B 的 GGUF 文件,这是一个有约 30 亿激活参数的 35B 混合专家模型,面向科学推理、信息查找和工具使用。适合配合 llama.cpp 在本地使用。
Phips · 工具包
用一个超分辨率网络放大低分辨率图像,可以在一块消费级 GPU 上训练,并导出为 ONNX。适合训练或运行图像放大模型的人。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。