GLM-4-9B-0414-GGUF

GLM-4-9B-0414-GGUF

用 9.4B 的 GLM-4-9B-0414 模型的 GGUF 文件生成中文和英文文本，适合想在自己电脑上运行 GLM 模型的人。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库里放的是 GLM-4-9B-0414 的 GGUF 文件，它是 GLM 系列里的 9.4B 文本生成模型，由 unsloth 打包。GGUF 是 llama.cpp 等本地运行工具读取的文件格式。模型卡大部分内容是系列概览，讲的是更大的 32B 模型和推理版本。

适合谁：如果你想在自己的硬件上用一个中等规模的中英文模型，或者你是要测试它的聊天、代码或工具调用能力的开发者，它就适合你。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在本地运行中英文模型，并试试代码任务 | 开发者让它写一个小的 Python 函数，再检查结果
商务 | 使用两种语言的团队 | 起草和修改中文或英文文本 | 团队请它把一份中文备忘录总结成英文
研究 | 模型测试人员 | 把这个 9B 模型和同等规模的其他模型对比 | 测试人员用同一组提示词跑多个本地模型

如果你想要不用下载的托管服务，可以跳过它。

用在哪里：

• llama.cpp 和其他能读取 GGUF 文件的本地运行工具
• 你自己的 Windows、macOS 或 Linux 电脑，先用 Python 下载文件

用例 | 谁用 | 得到什么
本地聊天 | 个人用户 | 中文或英文的文字回复
代码帮助 | 开发者 | 某个任务的代码草稿和解释
文本起草 | 商务团队 | 文档的初稿或改写稿

如何设置：

• 电脑上装好 Python，用来运行 pip 和 Hugging Face 工具
• 磁盘空间，按 Hugging Face 的估计，4 位版本约 4.7 GB
• 一个能加载 GGUF 文件的运行工具，比如 llama.cpp

1. 安装 Hugging Face hub 包。
2. 下载仓库文件。
3. 在运行工具里加载一个 GGUF 文件。用 llama.cpp 时，加上 jinja 参数，系统提示词才会生效。

pip install -U huggingface_hub
hf download unsloth/GLM-4-9B-0414-GGUF

如何使用：

你用中文或英文给模型写提示词，它就会写出文字回复。模型卡上唯一的使用说明是针对 llama.cpp 的：jinja 参数会打开系统提示词。完整给出的命令只有下载这一步。

hf download unsloth/GLM-4-9B-0414-GGUF

工具 | 作用
hf download | 把仓库文件下载到你的电脑
llama.cpp with --jinja | 运行 GGUF 文件并启用系统提示词

示例：你问：“Write a Python function that checks whether a string is a palindrome.” 模型会回复这个函数，通常还附一小段说明它怎么工作。

新手与专家：GGUF 是在自己电脑上运行模型的一种文件格式，这个模型会根据你给的提示词写出文字。一个好的第一步，是下载文件，在 llama.cpp 里加上 jinja 参数加载一个，再问一个简短的问题。

对熟悉这个领域的人来说，基础模型是 GLM-4-9B-0414，有 9.4B 参数。模型卡说 GLM 0414 系列在指令遵循、代码和函数调用方面，用了人类偏好对齐、拒绝采样和强化学习来训练。这些细节是针对 32B 模型给出的，所以要自己确认它们在这个规模上能延续多少。页面说，unsloth 的 Dynamic 2.0 方法比其他量化的准确度更高。

THUDM 发布 GLM-4-9B-0414
unsloth 把它转换成 GGUF 文件
你用 hf 下载文件
llama.cpp 或其他运行工具加载一个
你输入提示词，它写出文字

注意事项：

• Languages: 中文和英文
• Size: 9.4B 参数，按 Hugging Face 的估计，4 位约 4.7 GB
• Card scope: 大部分文字描述的是系列里的 32B 和推理模型，而不是这个 9B 模型
• License: MIT
• Cost to run: 来源没有提到费用，除了你自己的硬件
• Data it reaches: 下载要联网并把文件写入磁盘，来源没有提到其他访问
• Not for: 需要系统提示词却不加 jinja 参数的 llama.cpp 运行，因为模型卡说要用这个参数才行

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：9.4B
• Weights: about 4.7 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：13,323
• 点赞：33
• 许可证：mit
• 语言：zh, en
• 基于：THUDM/GLM-4-9B-0414
• 标签：transformers, gguf, glm4, text-generation, unsloth, conversational

链接

• 模型：https://huggingface.co/unsloth/GLM-4-9B-0414-GGUF
• 文件：https://huggingface.co/unsloth/GLM-4-9B-0414-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/GLM-4-9B-0414-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。