DeepSeek-R1-GGUF
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
Google DeepMind 的 Gemma 4 系列中的 E4B 模型,一个能读文字、图片和音频并输出文字的开放模型,面向笔记本和手机运行而设计。
gemma-4-E4B 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download google/gemma-4-E4B
gemma-4-E4B 是 Google DeepMind 的 Gemma 4 开放模型之一。它接收文字、图片和音频作为输入,用文字回答。记录列出的参数量是含嵌入的 8B,模型卡把 4.5B 算作有效规模。
这个模型的上下文窗口是 128K 个词元,支持 140 多种语言。它面向文本生成、编程和推理。
它适合想要一个小到能放进笔记本或边缘设备的开放多模态模型的开发者和研究者。这个系列还有更大的尺寸,最大到 31B,面向工作站。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 软件 | 开发者 | 加入一个能处理文字、图片和音频输入的本地模型 | 回答一个关于照片的问题 |
| 移动和边缘 | 应用开发者 | 在笔记本或手机级设备上运行模型 | 一个离线也能用的功能 |
| 研究 | 机器学习研究者 | 研究或微调开放模型 | 与更大的 Gemma 4 尺寸做对比 |
| 智能体 | 工具开发者 | 使用函数调用和思考模式 | 一个根据请求选择工具的助手 |
如果你想用托管的聊天机器人,又不打算运行模型,可以跳过它。
| 用例 | 谁用 | 得到什么 |
|---|---|---|
| 聊天和推理 | 开发者 | 带可配置思考模式的文字回答 |
| 图片和音频问题 | 应用开发者 | 关于一张图片或一段录音的文字回答 |
| 编程帮助 | 工程师 | 文字形式的代码和解释 |
先准备好下面这些东西。
pip install -U huggingface_hub hf download google/gemma-4-E4B
模型加载好之后,你给它文字,也可以再加图片或音频,它会写回文字。模型卡称它支持 system 角色,让对话更稳定,也原生支持给智能体用的函数调用。
你加载模型,附上一段简短的录音。你问 "What was said in this clip?"。模型卡列出这个尺寸支持音频输入,所以模型会读取声音并用文字回复。
先用一条简短的文字提示词,读读回复。跑通后再加图片。音频放最后,因为它需要多一点设置。
E4B 里的 E 表示有效参数。小模型给每个解码层的每个词元一个自己的小嵌入,这些表很大,但只用来查表。所以 4.5B 有效参数包含在总共 8B 里。注意力把 512 个词元的局部滑动窗口和全局层混合起来,最后一层总是全局的。
Google DeepMind 的 Gemma 4 系列中的 E4B 模型,一个能读文字、图片和音频并输出文字的开放模型,面向笔记本和手机运行而设计。
由 google 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:gemma-4-E4B 是 Google DeepMind 的 Gemma 4 开放模型之一。它接收文字、图片和音频作为输入,用文字回答。记录列出的参数量是含嵌入的 8B,模型卡把 4.5B 算作有效规模。
这个模型的上下文窗口是 128K 个词元,支持 140 多种语言。它面向文本生成、编程和推理。
适合谁:它适合想要一个小到能放进笔记本或边缘设备的开放多模态模型的开发者和研究者。这个系列还有更大的尺寸,最大到 31B,面向工作站。
行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 加入一个能处理文字、图片和音频输入的本地模型 | 回答一个关于照片的问题
移动和边缘 | 应用开发者 | 在笔记本或手机级设备上运行模型 | 一个离线也能用的功能
研究 | 机器学习研究者 | 研究或微调开放模型 | 与更大的 Gemma 4 尺寸做对比
智能体 | 工具开发者 | 使用函数调用和思考模式 | 一个根据请求选择工具的助手
如果你想用托管的聊天机器人,又不打算运行模型,可以跳过它。
用在哪里:
用例 | 谁用 | 得到什么
聊天和推理 | 开发者 | 带可配置思考模式的文字回答
图片和音频问题 | 应用开发者 | 关于一张图片或一段录音的文字回答
编程帮助 | 工程师 | 文字形式的代码和解释
如何设置:先准备好下面这些东西。
pip install -U huggingface_hub
hf download google/gemma-4-E4B
如何使用:模型加载好之后,你给它文字,也可以再加图片或音频,它会写回文字。模型卡称它支持 system 角色,让对话更稳定,也原生支持给智能体用的函数调用。
示例:你加载模型,附上一段简短的录音。你问 "What was said in this clip?"。模型卡列出这个尺寸支持音频输入,所以模型会读取声音并用文字回复。
新手与专家:先用一条简短的文字提示词,读读回复。跑通后再加图片。音频放最后,因为它需要多一点设置。
E4B 里的 E 表示有效参数。小模型给每个解码层的每个词元一个自己的小嵌入,这些表很大,但只用来查表。所以 4.5B 有效参数包含在总共 8B 里。注意力把 512 个词元的局部滑动窗口和全局层混合起来,最后一层总是全局的。
Title: 稠密 Gemma 4 模型的上下文长度
E2B: 128 K tokens
E4B: 128 K tokens
12B: 256 K tokens
31B: 256 K tokens
用 hf 下载模型
用 transformers 加载
发送文字、图片或音频
模型写回文字
注意事项:
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download google/gemma-4-E4B
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 4 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| gemma-4-E4B 本页 | 449,316 | 508 | 8B | apache-2.0 | |
| gemma-4-E4B-it共有 any-to-any · gemma4 · image-text-to-text | 4,298,348 | 1,850 | 8B | apache-2.0 | |
| gemma-4-E2B-it共有 any-to-any · gemma4 · image-text-to-text | 3,017,059 | 1,129 | 5.1B | apache-2.0 | |
| gemma-4-E2B共有 any-to-any · gemma4 · image-text-to-text | 109,387 | 559 | 5.1B | apache-2.0 | |
| gemma-4-12B-it-qat-GGUF共有 any-to-any · gemma4 · transformers | 196,871 | 617 | 11.9B | apache-2.0 | |
| gemma-4-12B-it共有 any-to-any · image-text-to-text · transformers | 1,738,905 | 1,735 | 12B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
prithivMLmods · 工具包
提供 Axion-1.0-35B 的 GGUF 文件,这是一个有约 30 亿激活参数的 35B 混合专家模型,面向科学推理、信息查找和工具使用。适合配合 llama.cpp 在本地使用。
Phips · 工具包
用一个超分辨率网络放大低分辨率图像,可以在一块消费级 GPU 上训练,并导出为 ONNX。适合训练或运行图像放大模型的人。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。