Gemma4-12B v2 Coding + Agentic Edition

Gemma4-12B v2 Coding + Agentic Edition

Google Gemma 4 12B 指令模型的 GGUF 微调版本，面向编程和使用工具的智能体工作，只需约 4.5 GB 空闲内存就能离线运行。

由 yuxinlu1 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 yuxinlu1 对 google/gemma-4-12B-it 做的微调的 GGUF 文件。它是编程加智能体版的第二个版本。它是想做成一个本地助手，能把问题想清楚、调用工具，并完成需要好几步的技术工作。记录列出的参数量是 11.9B。

作者称它需要约 4.5 GB 的空闲显存或统一内存，不用云，也不用 API。作者还发布了完整的 safetensors 主版本供研究。

适合谁：它适合想在普通硬件上用私密编程助手的开发者，以及喜欢试用社区微调的爱好者。作者是个人而不是公司，所以请把它当作爱好项目来看待。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 运行离线编程助手 | 在笔记本上调试脚本
智能体 | 工具开发者 | 在本地测试工具使用和多步骤任务 | 一个会运行命令的终端助手
注重隐私的团队 | 工程师 | 不让代码进入云服务 | 在本地机器上审查私有代码
家庭实验室 | 爱好者 | 在有限硬件上试用小型智能体模型 | 对比不同量化大小

如果你需要广泛的通用知识，可以跳过它，因为作者提到这方面有取舍。

用在哪里：

• llama.cpp，加上 --jinja 标志，这样能解析 Gemma 4 的原生工具格式
• 其他能加载 GGUF 文件的本地应用
• Windows、macOS 或 Linux，下载步骤需要 Python

用例 | 谁用 | 得到什么
编程帮助 | 开发者 | 来自本地模型的代码、修复和调试步骤
使用工具的任务 | 智能体开发者 | 调用工具的多步骤工作
离线工作 | 注重隐私的用户 | 不涉及 API 或云的回答

如何设置：先准备好下面这些东西。

• Python 和 pip，用于下载命令
• 一个能加载 GGUF 文件的本地应用，比如 llama.cpp
• 按作者所说约 4.5 GB 的空闲显存或统一内存，按记录的估算，4 位约需 6 GB 磁盘

1. 用 pip 安装 Hugging Face hub 包。
2. 用 hf 命令下载仓库。
3. 加载一个 GGUF 文件，先从 Q4_K_M 开始，作者称它是推荐的甜点。

pip install -U huggingface_hub
hf download yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF

如何使用：你和模型聊天，或者让智能体前端指向它。作者说大多数问题来自客户端设置，而不是权重。输出不断重复零，说明缺少重复惩罚，请把它设为 1.1，温度设为 1.0。出现多余的工具调用标记，说明前端没有解析 Gemma 4 的工具格式。

示例：你在 llama.cpp 里用 --jinja 标志加载 Q4_K_M 文件，让模型找出一个脚本里的 bug 并修复。模型会推理这个问题，如果你的前端提供工具，它就调用工具，然后回复修正后的代码。

新手与专家：先用 Q4_K_M 和上面的设置，让它做一个小修复。如果输出看起来乱码，先检查重复惩罚，再怀疑模型。

作者报告了一次测试：用 tau2-bench telecom 里的 20 个任务，在本地用同样的设置和 Q8_0 文件运行。基础模型得分约 15%，这个模型约 55%。这是个人做的小测试，所以请在你自己的任务上检验。作者把 Q3_K_M 列为最小的可靠量化版本，并暂缓了一个 Q2_K 版本。

Title: tau2-bench telecom，20 个任务，作者的测试
基础模型 gemma-4-12B-it: 15 percent
这个模型: 55 percent

用 hf 下载一个 GGUF 量化版本
在 llama.cpp 里用 --jinja 加载
设置重复惩罚和温度
交给它一个编程或工具任务

注意事项：

• License: Apache 2.0
• Cost to run: 来源没有提到费用，作者称没有 API 费用
• Data it reaches: 它把文件从 Hugging Face 下载到你的电脑上，加载之后可以离线运行
• Not for: 依赖广泛通用知识的工作，因为作者提到这方面有取舍

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：11.9B
• Weights: about 6 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：92,024
• 点赞：1,773
• 许可证：apache-2.0
• 基于：google/gemma-4-12B-it
• Quantized versions: 4
• Fine-tunes: 4
• 标签：gguf, gemma4, coding, agentic, terminal, tool-use, reasoning, thinking, llama.cpp, local-llm, text-generation, conversational

链接

• 模型：https://huggingface.co/yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF
• 文件：https://huggingface.co/yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。