DeepSeek-R1-GGUF
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
Google DeepMind 推出的 31B 指令微调模型,能读文字和图片并输出文字,上下文 256K,可配置思考模式,适合在工作站或服务器上运行开放模型的开发者。
gemma-4-31B-it 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download google/gemma-4-31B-it
gemma-4-31B-it 是 Gemma 4 的 31B 稠密指令微调模型,Gemma 4 是 Google DeepMind 的开放模型系列。它接收文字和图片,输出文字。上下文窗口是 256K token,支持 140 多种语言。权重在 Apache 2.0 下开放。
它适合想要一个用于聊天、编程、推理和智能体的开放模型,并托管在自己 GPU 或服务器上的开发者、研究人员和团队。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 软件 | 开发者 | 给应用加入多模态助手 | 一个回答截图相关问题的助手 |
| 全球业务 | 支持和内容团队 | 用一个模型处理多种语言 | 用客户自己的语言回复客户 |
| 智能体开发 | 智能体开发者 | 用函数调用驱动工具 | 一个通过 API 查询订单的智能体 |
| 人工智能研究 | 研究人员 | 研究开放的推理模型 | 在同样的问题上对比不同思考模式 |
如果你需要音频输入或适合手机的模型,可以跳过它,因为音频只在较小的尺寸里有,31B 没有。
| Use case | Who | What they get back |
|---|---|---|
| 聊天和推理 | 开发者 | 文字回答,思考模式可配置 |
| 图片提问 | 产品团队 | 关于任意形状和大小图片的文字回答 |
| 工具驱动的智能体 | 智能体开发者 | 模型自己选择发出的函数调用 |
你需要先准备:
pip install -U huggingface_hub hf download google/gemma-4-31B-it
通过聊天模板和模型聊天,用 system 角色写指令。想要逐步推理时选一个思考模式,有图片时就把图片和文字一起发送。
| Tool | What it does |
|---|---|
| System role | 原生支持系统消息,让对话更可控 |
| Thinking modes | 在最终答案之前可配置的推理 |
| Function calling | 原生支持调用工具,智能体依赖它 |
| Image input | 接受长宽比和分辨率可变的图片 |
你发一张收据照片,请它给出总额和店名。模型读取图片,用文字回答。加上系统消息,你还可以固定回答的格式。
这是一个大型通用模型,既懂图片也懂文字。第一步可以先读模型卡,再各试一个文字问题和一个图片问题。
模型把 1024 个 token 宽的局部滑动窗口注意力和完整的全局注意力混合使用,最后一层总是全局的。全局层共享键和值,并使用比例 RoPE。它有 60 层,视觉编码器约 550M 参数。
Gemma 4 系列有五种尺寸,这个是最大的稠密模型。
Google DeepMind 推出的 31B 指令微调模型,能读文字和图片并输出文字,上下文 256K,可配置思考模式,适合在工作站或服务器上运行开放模型的开发者。
由 google 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:gemma-4-31B-it 是 Gemma 4 的 31B 稠密指令微调模型,Gemma 4 是 Google DeepMind 的开放模型系列。它接收文字和图片,输出文字。上下文窗口是 256K token,支持 140 多种语言。权重在 Apache 2.0 下开放。
适合谁:它适合想要一个用于聊天、编程、推理和智能体的开放模型,并托管在自己 GPU 或服务器上的开发者、研究人员和团队。
Industry | Who uses it | How they use it | Example
软件 | 开发者 | 给应用加入多模态助手 | 一个回答截图相关问题的助手
全球业务 | 支持和内容团队 | 用一个模型处理多种语言 | 用客户自己的语言回复客户
智能体开发 | 智能体开发者 | 用函数调用驱动工具 | 一个通过 API 查询订单的智能体
人工智能研究 | 研究人员 | 研究开放的推理模型 | 在同样的问题上对比不同思考模式
如果你需要音频输入或适合手机的模型,可以跳过它,因为音频只在较小的尺寸里有,31B 没有。
用在哪里:
Use case | Who | What they get back
聊天和推理 | 开发者 | 文字回答,思考模式可配置
图片提问 | 产品团队 | 关于任意形状和大小图片的文字回答
工具驱动的智能体 | 智能体开发者 | 模型自己选择发出的函数调用
如何设置:
你需要先准备:
pip install -U huggingface_hub
hf download google/gemma-4-31B-it
如何使用:通过聊天模板和模型聊天,用 system 角色写指令。想要逐步推理时选一个思考模式,有图片时就把图片和文字一起发送。
Tool | What it does
System role | 原生支持系统消息,让对话更可控
Thinking modes | 在最终答案之前可配置的推理
Function calling | 原生支持调用工具,智能体依赖它
Image input | 接受长宽比和分辨率可变的图片
示例:你发一张收据照片,请它给出总额和店名。模型读取图片,用文字回答。加上系统消息,你还可以固定回答的格式。
新手与专家:这是一个大型通用模型,既懂图片也懂文字。第一步可以先读模型卡,再各试一个文字问题和一个图片问题。
模型把 1024 个 token 宽的局部滑动窗口注意力和完整的全局注意力混合使用,最后一层总是全局的。全局层共享键和值,并使用比例 RoPE。它有 60 层,视觉编码器约 550M 参数。
你发送文字,也可以带一张图片
模型带着系统角色读取它们
它可能先思考再回答
它返回文字或一个函数调用
注意事项:Gemma 4 系列有五种尺寸,这个是最大的稠密模型。
Title: 稠密 Gemma 4 模型的总参数量,单位十亿
E2B (effective): 2.3 B
E4B (effective): 4.5 B
12B Unified: 11.95 B
31B Dense: 30.7 B
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download google/gemma-4-31B-it
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| gemma-4-31B-it 本页 | 6,692,367 | 4,348 | 31.3B | apache-2.0 | |
| gemma-4-26B-A4B-it共有 gemma4 · image-text-to-text · conversational | 5,304,019 | 1,758 | 25.8B | apache-2.0 | |
| gemma-4-31B-it-scotoma-2共有 gemma4 · image-text-to-text · conversational | 1,643 | 60 | 31.3B | apache-2.0 | |
| gemma-4-E4B-it-weight-space-programming共有 gemma4 · image-text-to-text · conversational | 125 | 3 | 8B | gemma | |
| gemma-4-31B-it-qat-GGUF共有 gemma4 · image-text-to-text · conversational | 79,933 | 226 | 30.7B | apache-2.0 | |
| gemma-4-E4B-it共有 gemma4 · image-text-to-text · transformers | 4,298,348 | 1,850 | 8B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
prithivMLmods · 工具包
提供 Axion-1.0-35B 的 GGUF 文件,这是一个有约 30 亿激活参数的 35B 混合专家模型,面向科学推理、信息查找和工具使用。适合配合 llama.cpp 在本地使用。
Phips · 工具包
用一个超分辨率网络放大低分辨率图像,可以在一块消费级 GPU 上训练,并导出为 ONNX。适合训练或运行图像放大模型的人。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。