DeepSeek-R1-GGUF
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
提供一个 31.3B 参数的语言模型,基于 ReadyArt 的 gemma-4-31B-it-scotoma-2,适合在自己硬件上运行模型的人。这里的模型卡文字没有说明它的用途。
G4-LuneLight-31B 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download zerofata/G4-LuneLight-31B
G4-LuneLight-31B 是 zerofata 发布的语言模型,有 31.3B 参数,以 Safetensors 文件保存。Hugging Face 把 ReadyArt 的 gemma-4-31B-it-scotoma-2 列为它的基础模型。这里能看到的模型卡文字大多是页面样式,所以没有说明模型是为什么训练的。
如果你在自己的硬件上运行大型开源权重模型,并想试试基于这个基础模型的版本,它就适合你。如果你需要有文档说明的用途或基准测试结果,它就不太合适。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 本地 AI | 硬件较强的爱好者 | 加载权重并和模型聊天 | 试几个提示词,自己判断回复的质量 |
| 研究 | 对比开源模型的团队 | 把它和基础模型放在一起对比 | 给两者发送相同的提示词并比较回答 |
| 工具开发 | 测试模型加载器的开发者 | 把大型 Safetensors 模型当作测试用例 | 检查加载器能否处理 62.5 GB 的文件集 |
如果你想要托管的聊天服务,或者想要用途有文档说明的模型,可以跳过它。
| 用例 | 谁 | 得到什么 |
|---|---|---|
| 本地文本生成 | 爱好者 | 在你自己的机器上得到 31.3B 模型的回复 |
| 基础模型对比 | 研究人员 | 这个模型和它的基础模型并排给出的回答 |
| 加载器测试 | 开发者 | 一个用来测试文件处理的大型真实模型 |
你需要先准备:
pip install -U huggingface_hub hf download zerofata/G4-LuneLight-31B
下载完成后,你在所选工具里加载权重,然后给模型发送提示词。模型页面上有模型卡自己的运行步骤,这里的文字里没有。
| 工具 | 作用 |
|---|---|
| pip install -U huggingface_hub | 安装或更新 Hugging Face 的下载客户端 |
| hf download | 把模型仓库的文件下载到你的电脑 |
你下载文件,在能读取 Safetensors 权重的工具里加载,然后给模型发一个简短的问题。它会回答一段生成的文字。这里的模型卡文字没有给出具体的提示词风格,请参照模型页面。
这是一个需要你自己运行的超大语言模型,所以请先检查磁盘和内存。第一步可以先读 Hugging Face 上的模型页面,再用上面的两条命令获取文件。
对熟悉这个领域的读者来说,这个仓库包含约 62.5 GB、31.3B 参数的 BF16 Safetensors 权重,按名称看基于 Gemma 4 31B 指令微调版本。这里的模型卡文字没有给出训练方法、数据或基准测试结果,所以请用你自己的提示词来测试。其他人已发布 6 个量化版本。
提供一个 31.3B 参数的语言模型,基于 ReadyArt 的 gemma-4-31B-it-scotoma-2,适合在自己硬件上运行模型的人。这里的模型卡文字没有说明它的用途。
由 zerofata 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:G4-LuneLight-31B 是 zerofata 发布的语言模型,有 31.3B 参数,以 Safetensors 文件保存。Hugging Face 把 ReadyArt 的 gemma-4-31B-it-scotoma-2 列为它的基础模型。这里能看到的模型卡文字大多是页面样式,所以没有说明模型是为什么训练的。
适合谁:如果你在自己的硬件上运行大型开源权重模型,并想试试基于这个基础模型的版本,它就适合你。如果你需要有文档说明的用途或基准测试结果,它就不太合适。
行业 | 谁在用 | 怎么用 | 例子
本地 AI | 硬件较强的爱好者 | 加载权重并和模型聊天 | 试几个提示词,自己判断回复的质量
研究 | 对比开源模型的团队 | 把它和基础模型放在一起对比 | 给两者发送相同的提示词并比较回答
工具开发 | 测试模型加载器的开发者 | 把大型 Safetensors 模型当作测试用例 | 检查加载器能否处理 62.5 GB 的文件集
如果你想要托管的聊天服务,或者想要用途有文档说明的模型,可以跳过它。
用在哪里:
用例 | 谁 | 得到什么
本地文本生成 | 爱好者 | 在你自己的机器上得到 31.3B 模型的回复
基础模型对比 | 研究人员 | 这个模型和它的基础模型并排给出的回答
加载器测试 | 开发者 | 一个用来测试文件处理的大型真实模型
如何设置:
你需要先准备:
pip install -U huggingface_hub
hf download zerofata/G4-LuneLight-31B
如何使用:下载完成后,你在所选工具里加载权重,然后给模型发送提示词。模型页面上有模型卡自己的运行步骤,这里的文字里没有。
工具 | 作用
pip install -U huggingface_hub | 安装或更新 Hugging Face 的下载客户端
hf download | 把模型仓库的文件下载到你的电脑
示例:你下载文件,在能读取 Safetensors 权重的工具里加载,然后给模型发一个简短的问题。它会回答一段生成的文字。这里的模型卡文字没有给出具体的提示词风格,请参照模型页面。
新手与专家:这是一个需要你自己运行的超大语言模型,所以请先检查磁盘和内存。第一步可以先读 Hugging Face 上的模型页面,再用上面的两条命令获取文件。
对熟悉这个领域的读者来说,这个仓库包含约 62.5 GB、31.3B 参数的 BF16 Safetensors 权重,按名称看基于 Gemma 4 31B 指令微调版本。这里的模型卡文字没有给出训练方法、数据或基准测试结果,所以请用你自己的提示词来测试。其他人已发布 6 个量化版本。
用 hf download 下载文件
加载 Safetensors 权重
给模型发送提示词
阅读生成的回复
注意事项:
Title: 按精度划分的权重大小
BF16: 62.5 GB
4 位估算: 15.6 GB
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download zerofata/G4-LuneLight-31B
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| G4-LuneLight-31B 本页 | 524 | 35 | 31.3B | apache-2.0 | |
| gemma-4-31B-it共有 gemma4 · safetensors | 6,692,367 | 4,348 | 31.3B | apache-2.0 | |
| gemma-4-26B-A4B-it共有 gemma4 · safetensors | 5,304,019 | 1,758 | 25.8B | apache-2.0 | |
| gemma-4-E4B-it共有 gemma4 · safetensors | 4,298,348 | 1,850 | 8B | apache-2.0 | |
| gemma-4-E2B-it共有 gemma4 · safetensors | 3,017,059 | 1,129 | 5.1B | apache-2.0 | |
| gemma-4-E4B共有 gemma4 · safetensors | 449,316 | 508 | 8B | apache-2.0 |
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
prithivMLmods · 工具包
提供 Axion-1.0-35B 的 GGUF 文件,这是一个有约 30 亿激活参数的 35B 混合专家模型,面向科学推理、信息查找和工具使用。适合配合 llama.cpp 在本地使用。
Phips · 工具包
用一个超分辨率网络放大低分辨率图像,可以在一块消费级 GPU 上训练,并导出为 ONNX。适合训练或运行图像放大模型的人。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。