Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
接收文字、图片和音频并输出文字回答,是 Google DeepMind 的 12B 指令微调模型,上下文 256K 词元,思考模式可配置。适合在本地运行开放模型的开发者。
gemma-4-12B-it 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download google/gemma-4-12B-it
gemma-4-12B-it 是 Google DeepMind 的 Gemma 4 开放系列中经过指令微调的 12B Unified 模型。它原生理解音频和图片,不需要单独的编码器,输出文字。上下文窗口最长 256K 词元,整个系列支持 140 多种语言。
它适合想在消费级 GPU 或工作站上使用能力较强的开放模型,做推理、编码和多模态工作的开发者。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 软件开发 | 开发者 | 用它获得编码帮助,并配合函数调用做智能体工作流 | 让它修复一个失败的测试 |
| 无障碍和媒体 | 应用开发者 | 在一个模型里处理语音音频和图片 | 描述一张照片并回答关于它的问题 |
| 研究 | 研究者 | 对一个长上下文的开放模型做微调或评估 | 测试长文档问答 |
| 多语言产品 | 产品团队 | 用一个本地模型服务多种语言的用户 | 用另一种语言回答一个客服问题 |
如果你需要手机级别的模型,可以跳过它,因为这个系列有更小的 E2B 和 E4B 规格。
| 用例 | 谁用 | 得到什么 |
|---|---|---|
| 推理和编码 | 开发者 | 文字回答,思考模式可配置 |
| 音频和图片提问 | 应用开发者 | 关于模型听到或看到的内容的文字回答 |
| 智能体工作流 | 智能体开发者 | 原生函数调用和 system 角色指令 |
你需要 Python 和一台能放下权重的机器,BF16 下约 23.9 GB,4-bit 估计约 6 GB。
pip install -U huggingface_hub hf download google/gemma-4-12B-it
可见的模型卡给出了下载这一步,并指向它自己的运行部分。你加载指令微调的检查点,写一条 system 消息来设定行为,再发送文字、图片或音频。
hf download google/gemma-4-12B-it
你给模型发一张照片,问里面有什么。回复以文字返回,如果你想让它先推理再回答,也可以选一个思考模式。
如果你刚接触开放模型,这是一个中等规模的模型,除了文字,还能处理图片和声音。第一次可以先下载它,再用纯文字问一个简短的问题。
对熟悉这个领域的人来说,这个模型有 48 层,采用混合注意力设计,把 1024 词元的局部滑动窗口与全局层交替使用,并以全局层收尾。无编码器是在体积和部署上的取舍,因为音频和视觉都由模型自身处理。
Gemma 4 系列有五个模型,从手机级的 E2B 和 E4B 到 31B,这个 12B 是其中三个原生能听音频的模型之一。
接收文字、图片和音频并输出文字回答,是 Google DeepMind 的 12B 指令微调模型,上下文 256K 词元,思考模式可配置。适合在本地运行开放模型的开发者。
由 google 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:gemma-4-12B-it 是 Google DeepMind 的 Gemma 4 开放系列中经过指令微调的 12B Unified 模型。它原生理解音频和图片,不需要单独的编码器,输出文字。上下文窗口最长 256K 词元,整个系列支持 140 多种语言。
适合谁:它适合想在消费级 GPU 或工作站上使用能力较强的开放模型,做推理、编码和多模态工作的开发者。
行业 | 谁在用 | 怎么用 | 例子
软件开发 | 开发者 | 用它获得编码帮助,并配合函数调用做智能体工作流 | 让它修复一个失败的测试
无障碍和媒体 | 应用开发者 | 在一个模型里处理语音音频和图片 | 描述一张照片并回答关于它的问题
研究 | 研究者 | 对一个长上下文的开放模型做微调或评估 | 测试长文档问答
多语言产品 | 产品团队 | 用一个本地模型服务多种语言的用户 | 用另一种语言回答一个客服问题
如果你需要手机级别的模型,可以跳过它,因为这个系列有更小的 E2B 和 E4B 规格。
用在哪里:
用例 | 谁用 | 得到什么
推理和编码 | 开发者 | 文字回答,思考模式可配置
音频和图片提问 | 应用开发者 | 关于模型听到或看到的内容的文字回答
智能体工作流 | 智能体开发者 | 原生函数调用和 system 角色指令
如何设置:你需要 Python 和一台能放下权重的机器,BF16 下约 23.9 GB,4-bit 估计约 6 GB。
pip install -U huggingface_hub
hf download google/gemma-4-12B-it
如何使用:可见的模型卡给出了下载这一步,并指向它自己的运行部分。你加载指令微调的检查点,写一条 system 消息来设定行为,再发送文字、图片或音频。
hf download google/gemma-4-12B-it
示例:你给模型发一张照片,问里面有什么。回复以文字返回,如果你想让它先推理再回答,也可以选一个思考模式。
新手与专家:如果你刚接触开放模型,这是一个中等规模的模型,除了文字,还能处理图片和声音。第一次可以先下载它,再用纯文字问一个简短的问题。
对熟悉这个领域的人来说,这个模型有 48 层,采用混合注意力设计,把 1024 词元的局部滑动窗口与全局层交替使用,并以全局层收尾。无编码器是在体积和部署上的取舍,因为音频和视觉都由模型自身处理。
文字、图片或音频输入
统一模型一起处理所有输入
开启思考模式时,它可能先思考
你得到文字回答
注意事项:Gemma 4 系列有五个模型,从手机级的 E2B 和 E4B 到 31B,这个 12B 是其中三个原生能听音频的模型之一。
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download google/gemma-4-12B-it
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| gemma-4-12B-it 本页 | 1,738,905 | 1,735 | 12B | apache-2.0 | |
| gemma-4-12B共有 gemma4_unified · any-to-any · image-text-to-text | 51,228 | 861 | 12B | apache-2.0 | |
| Jev-Omni共有 gemma4_unified · image-text-to-text · transformers | 3,744 | 450 | 12B | apache-2.0 | |
| gemma-4-12b-it-GGUF共有 gemma4_unified · image-text-to-text | 2,534,530 | 963 | 11.9B | apache-2.0 | |
| gemma-4-E4B-it共有 any-to-any · image-text-to-text · transformers | 4,298,348 | 1,850 | 8B | apache-2.0 | |
| gemma-4-E2B-it共有 any-to-any · image-text-to-text · transformers | 3,017,059 | 1,129 | 5.1B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。