gemma-4-E4B-it-weight-space-programming

gemma-4-E4B-it-weight-space-programming

对 Google 的 Gemma 4 E4B-it 直接修改 0.002% 的权重、不做训练，用来解决思考模式下工具调用和多步数学的卡顿。也提供一个小型补丁文件。

由 jstarks 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Gemma 4 E4B-it，并对第 38 到 41 层 MLP 里的 64 列做了直接修改，约 163,840 个参数，占模型的 0.00205%。没有用到梯度下降、反向传播或微调。

这次修改针对作者描述的思考模式下的两个问题。模型要么在长篇提纲里打转而不去调用工具，要么在做数学之前把词元预算花在元评论上。

适合谁：适合开着思考模式运行 Gemma 4 E4B-it、希望它更可靠地调用工具的人，以及对直接修改权重而不是训练感兴趣的研究者。

Industry | Who uses it | How they use it | Example
软件 | 智能体构建者 | 让小型本地模型在思考模式下调用工具 | 桌面 GPU 上的网页搜索助手
教育 | 数学辅导开发者 | 在较短的词元预算内得到多步解答 | 直接从代数推导开始的作业助手
研究 | 可解释性研究者 | 研究权重空间的修改 | 阅读模型卡里逐层的发现

如果你不使用思考模式，可以跳过它，因为模型卡的测试针对的就是这个模式，或者你需要大型基准测试集的结果。

用在哪里：它通过 transformers 库加载，另有一个加载脚本照顾显存较小的 GPU。作者在 12 GB 的 RTX 4070 Ti 上做了测试。

• 装有 transformers 和 PyTorch 的 Python
• 用附带的 model_loader.py 脚本在 12 GB GPU 上运行
• 任何现有的 gemma-4-E4B-it 检查点，在内存里应用小补丁文件

Use case | Who | What they get back
思考模式下的工具调用 | 智能体构建者 | 在模型卡的 8 个查询测试里更多有效的工具调用
短预算数学 | 开发者 | 在 420 个词元内解出更多题目
快速打补丁 | 爱好者 | 不到一秒就应用到本地检查点上的修改

如何设置：你需要 Python，以及完整的 16 GB 模型，或者一个现有的 Gemma 4 E4B-it 检查点加上 641 KB 的补丁文件。模型卡给出了两种方式。

• 带 pip、transformers 和 PyTorch 的 Python
• 方式 A：本仓库里完整的 16 GB bfloat16 模型
• 方式 B：一个现有的 gemma-4-E4B-it 检查点，加上本仓库里的补丁文件

1. 安装 Python、transformers 和 PyTorch。
2. 下载仓库文件，如果已有基础模型，只下载补丁即可。
3. 运行下面的某个加载代码片段。

pip install -U huggingface_hub
hf download jstarks/gemma-4-E4B-it-weight-space-programming

如何使用：方式 A 用 transformers 加载整个修改后的模型。方式 B 在内存里给基础检查点打补丁。

from transformers import AutoProcessor, AutoModelForMultimodalLM
import torch

model_id = "jstarks/gemma-4-E4B-it-weight-space-programming"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id, device_map="auto", torch_dtype=torch.bfloat16
)

在 12 GB GPU 上，附带的加载器把 42 个活跃层放在 GPU 上，并把很大的逐层嵌入表挪到 CPU。

from model_loader import load_gemma4_e4b_text

model, tokenizer = load_gemma4_e4b_text("jstarks/gemma-4-E4B-it-weight-space-programming")

from apply_patch import apply_gemma4_weight_space_patch
from model_loader import load_gemma4_e4b_text

# 1. Load your existing Gemma-4-E4B-it checkpoint
model, tokenizer = load_gemma4_e4b_text("unsloth/gemma-4-E4B-it")

# 2. Apply the 64-column weight-space patch (163,840 parameters across Layers 38-41)
apply_gemma4_weight_space_patch(model, "gemma4_e4b_weight_space_patch.safetensors")

示例：你的磁盘上已经有 unsloth 的 gemma-4-E4B-it。你用加载器加载它，应用 641 KB 的补丁，模型卡说修改后的模型不到一秒就准备好了，不需要下载 16 GB。

新手与专家：如果你是新手，这是一个稍作修改的 Gemma。用方式 A 加载，打开思考模式，给它一个像网页搜索这样的工具，看它是否会调用。

如果你熟悉这个领域：这次修改改动了第 38 到 41 层里经过 RMSNorm 预处理的列，灵感来自一篇关于权重空间编程的论文。模型卡还把第 23 层描述为键值状态开始共享的边界枢纽。

从 gemma-4-E4B-it 出发
修改第 38 到 41 层的 64 个 MLP 列
保存为完整模型或 641 KB 补丁
在 transformers 中加载或在内存里打补丁

注意事项：测试集很小，只有 8 个查询、6 道数学题和 3 次端到端运行，所以请把这些数字当作演示。模型卡报告了这些修改前后的结果。

Title: 修改前后的成功率，百分比
修改前工具调用: 0.0 百分比
修改后工具调用: 75.0 百分比
修改前数学解出: 33.3 百分比
修改后数学解出: 66.7 百分比
修改前真实智能体运行: 0.0 百分比
修改后真实智能体运行: 66.7 百分比

• License: Gemma 许可，即页面上显示的那个
• Cost to run: 未提及费用，但测试用了约 12 GB 显存的 GPU
• Data it reaches: 你下载的模型文件，以及你给它的提示词和工具结果
• Not for: 不考虑思考模式的使用，因为测试只覆盖思考模式

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：8B
• Weights: about 16 GB in BF16; about 4 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：125
• 点赞：3
• 许可证：gemma
• 基于：google/gemma-4-E4B-it
• 标签：transformers, safetensors, gemma4, image-text-to-text, weight-space-programming, mechanistic-interpretability, tool-calling, agentic, zero-training, conversational

链接

• 模型：https://huggingface.co/jstarks/gemma-4-E4B-it-weight-space-programming
• 文件：https://huggingface.co/jstarks/gemma-4-E4B-it-weight-space-programming/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download jstarks/gemma-4-E4B-it-weight-space-programming

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。