granite-4.2-3b

granite-4.2-3b

回答前先一步步推理，在 IBM 的紧凑 3B 模型中提供工具调用、代码生成和多语言对话。原生支持 128K 上下文，采用 Apache 2.0 开源。

由 ibm-granite 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Granite-4.2-3B 是 IBM Granite 团队的紧凑推理模型。它是基于 Granite-4.1-3B-Base 的仅解码器稠密 Transformer，会先在 think 标签里把问题想一遍，再给出最终答案。你可以用完整思考、不思考或低强度模式来运行它，在每次查询中用深度换速度。

适合谁：它适合想要推理、代码辅助、工具调用或多语言对话、又希望模型小到能在普通硬件上运行的开发者和团队。

行业 | 谁在用 | 怎么用 | 例子
软件开发 | 添加代码辅助的开发者 | 生成代码并对代码进行推理 | 请它写一个函数，在速度要紧时选低强度模式
智能体开发 | 把模型接到工具上的团队 | 让模型推理该调用哪个工具 | 发送带工具定义的任务，读取它发出的调用
多语言支持 | 服务多语种用户的团队 | 用英语以外的语言对话 | 用日语或阿拉伯语聊天，这是测试过的两种语言

如果你需要更大的模型，这个系列还有 8B 和 30B 的稠密版本。

用在哪里：

• 使用 transformers 库的 Python 项目
• 智能体和工具调用流水线
• 长文档和多轮对话的场景
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用途 | 谁用 | 能得到什么
数学和代码推理 | 开发者 | 一步步的解答，然后是最终答案
工具调用 | 智能体开发者 | 模型推理之后选出的函数调用
长文档 | 分析师 | 对长达长上下文窗口的输入给出答案
多语言对话 | 客服团队 | 用用户的语言回复

如何设置：
你需要先准备：

• Python 和 Hugging Face 命令行
• BF16 权重约需 7.3 GB 内存，4 位下约 1.8 GB，这只是估算值
• transformers 库

1. 用 pip 安装 Hugging Face 工具。
2. 把模型文件下载到你的电脑。
3. 用 transformers 加载它，然后和模型对话。

pip install -U huggingface_hub
hf download ibm-granite/granite-4.2-3b

如何使用：
给模型发聊天消息，并按每次查询选择思考模式。完整思考是默认，不思考直接回答，低强度介于两者之间。模型卡还说，模型会推理该调用哪些工具以及为什么。

示例：你问一道多步的数学应用题。在完整思考模式下，模型在 think 标签里逐步推导，然后给出答案。在不思考模式下它直接回答，更快但不够深入。

新手与专家：第一次尝试可以用默认模式问一道数学或逻辑题，再用不思考模式问同一道题，看看速度和深度的差别。

对懂行的人来说，它的设计是稠密 Transformer，使用分组查询注意力，有 40 个查询头和 8 个键值头。它用旋转位置编码，theta 为 10,000,000，前馈块是 SwiGLU，隐藏维度 8192，归一化用 RMSNorm，epsilon 为 1e-5，输入和输出嵌入不共享。3B 的嵌入维度是 2560，共 40 层。

你发送提示词并选择思考模式
模型在 think 标签里推理
它判断是否需要工具调用
你得到最终答案或调用

注意事项：

Title: Granite 4.2 稠密系列各规模的层数
3B 稠密: 40 layers
8B 稠密: 40 layers
30B 稠密: 64 layers

• 上下文：原生支持 128K，并有扩展到 512K 的长上下文方案。
• 语言：模型卡测试了 12 种语言，包括英语、日语和阿拉伯语，并说其他语言可能也能用，但没有充分测试。
• 最适合：推理、代码生成、工具调用、智能体工作流和多语言对话。
• License: Apache 2.0
• Cost to run: 没有提到 API 密钥或付费服务。
• Data it reaches: 它从 Hugging Face 下载文件，然后在你自己的机器上运行。
• Not for: 没有提到。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：3.7B
• Weights: about 7.3 GB in BF16; about 1.8 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：41,238
• 点赞：135
• 许可证：apache-2.0
• 语言：en, de, es, fr, ja, pt, ar, cs
• 基于：ibm-granite/granite-4.1-3b-base
• Quantized versions: 67
• Fine-tunes: 14
• 标签：transformers, safetensors, granite, text-generation, granite-4.2, reasoning, thinking, tool-calling, conversational

链接

• 模型：https://huggingface.co/ibm-granite/granite-4.2-3b
• 文件：https://huggingface.co/ibm-granite/granite-4.2-3b/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ibm-granite/granite-4.2-3b

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。