Granite-4.0-H-350M

Granite-4.0-H-350M

用 IBM 推出的 340M 参数指令模型处理摘要、分类、抽取、问答、RAG、代码任务和工具调用，支持 12 种语言。适合需要紧凑设备端模型的开发者。

由 ibm-granite 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Granite-4.0-H-350M 是 IBM Granite 团队推出的小型指令模型。它是从 Granite-4.0-H-350M-Base 模型出发，用许可宽松的开源指令数据和 IBM 自己的合成数据微调而成。所用方法包括监督微调、强化学习和模型合并。它面向设备端使用和研究。

适合谁：适合想要一个紧凑的多语言模型来处理日常语言任务的开发者，也适合打算在不需要大算力的情况下在自己领域上微调小模型的团队。

行业 | 谁在用 | 怎么用 | 例子
软件 | 应用开发者 | 在用户设备上运行摘要和抽取 | 从粘贴的邮件里提取字段
支持 | 帮助台工具开发者 | 给工单分类并根据检索到的文字回答 | 把工单分到正确的队列
工程 | 开发者工具团队 | 使用代码任务和中间填充补全 | 补全缺失的函数体
研究 | 机器学习研究者 | 为专门领域微调小模型 | 把它调整到法律或医疗措辞

如果你需要大模型的深度，可以跳过，因为 340M 参数限制了它能推理的程度。

用在哪里：

• 使用 transformers 库的 Python，GPU 或 CPU 均可
• 设备端和研究环境，模型卡把这些列为预期用途
• 装有 Python 的 Windows、macOS 或 Linux

用例 | 谁用 | 得到什么
摘要和抽取 | 应用团队 | 简短摘要或从文字中提取的字段
RAG 问答 | 搜索开发者 | 根据你提供的段落得出的回答
工具调用 | 智能体开发者 | 根据你定义的工具列表构造的函数调用
代码补全 | 编辑器插件开发者 | 中间填充建议

如何设置：先准备好这些。

• 带 pip 的 Python
• torch、accelerate 和 transformers 包
• BF16 权重约 681 MB，4-bit 估计约 170 MB

1. 用 pip 安装这些库。
2. 按名称加载分词器和模型。
3. 构建一段对话，应用聊天模板并生成。

pip install torch torchvision torchaudio
pip install accelerate
pip install transformers

pip install -U huggingface_hub
hf download ibm-granite/granite-4.0-h-350m

如何使用：把对话写成带角色和内容的消息列表，应用聊天模板，分词并生成。如果在 CPU 上运行，就去掉 device map。做工具调用时，要用 OpenAI 为函数使用的同一种模式来定义你的工具。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda"
model_path = "ibm-granite/granite-4.0-h-350M"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# drop device_map if running on CPU
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
# change input text as desired
chat = [
    { "role": "user", "content": "Please list one IBM Research laboratory located in the United States. You should only output its name and location." },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
# tokenize the text
input_tokens = tokenizer(chat, return_tensors="pt").to(device)
# generate output tokens
output = model.generate(**input_tokens,
                        max_new_tokens=100)
# decode output tokens into text
output = tokenizer.batch_decode(output)
# print output
print(output[0])

工具 | 作用
apply_chat_template | 用模型的角色标记格式化你的消息
model.generate | 生成回复，这里最多 100 个新 token
tools list | 用 OpenAI 函数模式描述模型可以调用的函数

示例：让它列出美国的一个 IBM Research 实验室，只要名称和地点。打印输出会重复带角色标记的提示，然后是回复。模型卡的预期输出写的是加利福尼亚州圣何塞的 Almaden Research Center。

新手与专家：如果你是新手，这是一个可以在笔记本上运行的小型聊天模型。先运行那段简短的 Python 脚本，把问题换成你自己的。任务要保持简单和简短。

如果你熟悉这个领域，模型卡列出了摘要、分类、抽取、问答、RAG、代码任务、函数调用、多语言对话和中间填充补全。它写明支持 12 种语言，并说你可以为其他语言微调。它的工具调用使用 OpenAI 的函数定义模式。

Granite-4.0-H-350M-Base
监督微调和强化学习
模型合并
你加载的指令模型
聊天模板构建你的提示

注意事项：

• 语言：共 12 种，即中文、日语、韩语、阿拉伯语、捷克语、荷兰语、意大利语、葡萄牙语、法语、西班牙语、德语和英语
• 规模：340M 参数，Safetensors 格式
• 开发者：IBM 的 Granite 团队
• 社区：其他人做过 43 个量化版本和 16 个微调版本

• License: Apache 2.0
• Cost to run: 未提及，来源没有列出 API 密钥、账号或付费服务
• Data it reaches: 你交给自己脚本的消息，来源没有提到网络或账号访问
• Not for: 来源没有禁止任何用途，但它把模型定位在紧凑的设备端和研究工作上

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：340M
• Weights: about 681 MB in BF16; about 170 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：4,734
• 点赞：114
• 许可证：apache-2.0
• 基于：ibm-granite/granite-4.0-h-350m-base
• Quantized versions: 44
• Fine-tunes: 16
• 标签：transformers, safetensors, granitemoehybrid, text-generation, language, granite-4.0, conversational

链接

• 模型：https://huggingface.co/ibm-granite/granite-4.0-h-350m
• 文件：https://huggingface.co/ibm-granite/granite-4.0-h-350m/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ibm-granite/granite-4.0-h-350m

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。