granite-4.1-8b-GGUF

granite-4.1-8b-GGUF

用 IBM 的 Granite 4.1 8B 模型遵循指令、调用工具和聊天，提供 Unsloth 制作的 GGUF 文件，包含聊天模板修复。适合商业助手和会用工具的智能体。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 granite-4.1-8b 的 GGUF 版本，它是 IBM Granite 团队的 8B 指令模型，支持长上下文。IBM 在 Granite-4.1-8B-Base 的基础上，用监督微调和强化学习对齐进行了调优。Unsloth 制作了 GGUF 文件，并修复了聊天模板。

适合谁：构建商业助手的团队，以及构建会调用工具的智能体的开发者。4-bit 权重估计约 4.4 GB，普通电脑也够得着。

Industry | Who uses it | How they use it | Example
商务 | 运营团队 | 构建能回答问题和总结文档的助手 | 总结一份长报告
软件 | 开发者 | 构建能调用函数和 API 的智能体 | 让模型为一个请求选择工具
客户支持 | 客服团队 | 对消息分类并提取细节 | 从工单里取出关键字段
多语言 | 跨国团队 | 用十二种支持语言之一聊天 | 用西班牙语或日语回答一个问题

需要给手机用的极小模型的人可以跳过它，因为 8B 是中等规模。

用在哪里：

• llama.cpp，加上 jinja 参数，这样会用到修复后的聊天模板
• 用 transformers 的 Python，运行卡片里的示例，它用的是 IBM 的原始权重
• 在 Windows、macOS 或 Linux 上用 Python 下载文件

Use case | Who | What they get back
总结和提取 | 商务团队 | 更短的文本和提取出的细节
问答和 RAG | 开发者 | 基于所提供文档的回答
函数调用 | 智能体开发者 | 对你定义的工具的调用
代码任务 | 开发者 | 代码帮助，包括中间填充补全

如何设置：

• Python，用于 Hugging Face hub 工具
• llama.cpp 或另一个能运行 GGUF 文件的运行器
• 运行 transformers 示例需要 torch、accelerate 和 transformers

1. 用 pip 安装 Hugging Face hub 工具。
2. 用 hf 命令下载文件。
3. 用 llama.cpp 时，加上 jinja 参数，让聊天模板修复生效。
4. 如果想试卡片里的 Python 示例，请先安装它用到的库。

pip install -U huggingface_hub
hf download unsloth/granite-4.1-8b-GGUF

pip install torch torchvision torchaudio
pip install accelerate
pip install transformers

如何使用：卡片里的示例用 transformers 加载 IBM 的原始权重，把聊天模板套用到一条用户消息上，最多生成 100 个新词元，然后打印结果。对于 GGUF 文件，用你的运行器，并在 llama.cpp 里加上 jinja 参数。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda"
model_path = "ibm-granite/granite-4.1-8b"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# drop device_map if running on CPU
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
# change input text as desired
chat = [
    { "role": "user", "content": "Please list one IBM Research laboratory located in the United States. You should only output its name and location." },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
# tokenize the text
input_tokens = tokenizer(chat, return_tensors="pt").to(device)
# generate output tokens
output = model.generate(**input_tokens,
                        max_new_tokens=100)
# decode output tokens into text
output = tokenizer.batch_decode(output)
# print output
print(output[0])

Tool | What it does
--jinja | 应用修复后聊天模板的 llama.cpp 参数
apply_chat_template | 把聊天消息变成提示词文本
generate | 生成回复，这里最多 100 个新词元
Tool definitions | 按卡片所说，遵循 OpenAI 的函数定义格式

示例：你要求列出美国的一个 IBM 研究实验室，只要名称和地点。卡片的示例回复给出了加利福尼亚州圣何塞的一个实验室。

新手与专家：如果你有 GPU，先从卡片的 Python 示例开始，因为它用几行就展示了整个流程。用 GGUF 文件时，别忘了在 llama.cpp 里加 jinja 参数，聊天模板才会正常。

卡片说 IBM 改进后的后训练，包括监督微调和强化学习对齐，提升了工具调用、指令遵循和聊天质量。它把总结、分类、提取、问答、RAG、代码任务、函数调用、多语言对话和中间填充补全列为能力。

把对话写成用户和助手消息
聊天模板构建提示词
模型生成回复
分词器把它解码回文本

注意事项：

• Languages: 覆盖十二种语言，其中有英语、中文、日语、韩语和阿拉伯语。微调可以加入更多语言。
• Template: Unsloth 修复了聊天模板，所以在 llama.cpp 里要用 jinja 参数。
• Sample: Python 示例用的是 IBM 的原始权重，不是这些 GGUF 文件。
• License: Apache 2.0。
• Cost to run: 未提及。来源里没有出现 API 密钥或付费服务。
• Data it reaches: 你电脑上的文件，以及来自 Hugging Face 的模型文件。
• Not for: 来源没有写明禁止的用途，也没有写明它做不到的任务。

Hugging Face 上的数据（2026年11月13日）

• 框架：transformers
• 参数量：8.8B
• Weights: about 4.4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：4,426
• 点赞：56
• 许可证：apache-2.0
• 基于：ibm-granite/granite-4.1-8b
• 标签：transformers, gguf, language, unsloth, granite-4.1, conversational

链接

• 模型：https://huggingface.co/unsloth/granite-4.1-8b-GGUF
• 文件：https://huggingface.co/unsloth/granite-4.1-8b-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/granite-4.1-8b-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。