Granite-4.2-8B

Granite-4.2-8B

逐步推理、写代码、调用工具，并用多种语言聊天，上下文最长 128K token，可扩展到 512K。这是 IBM 的稠密 8B 模型，适合构建智能体和助手的开发者。

由 ibm-granite 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Granite-4.2-8B 是 IBM Granite 团队的推理模型，是一个约有 80 亿参数的稠密仅解码器 transformer。它建立在 Granite-4.1-8B-Base 之上，回答之前会一步一步想清楚问题。模型卡把推理、代码生成、工具调用、智能体工作流和多语言对话列为它最适合的用途。

适合谁：适合想要一个开源推理模型，用于助手、编码帮助和调用工具的智能体的开发者和团队。模型权重采用 Apache 2.0 许可证。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 用推理模式做代码生成和调试 | 让它解释并修复一个出错的函数
AI 平台 | 智能体构建者 | 运行工具调用带有推理过程的智能体 | 一个会选工具并说明理由的助手
客户服务 | 产品团队 | 构建多语言对话系统 | 一个能在英语和日语之间切换的聊天助手

如果你只需要快速的简短回复，可以不付出推理的代价，因为模型卡也提供了不思考模式来满足这种需要。

用在哪里：

• 使用 transformers 库的 Python，这是 Hugging Face 列出的库
• 长文档和多轮对话场景，得益于它的上下文窗口
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
推理任务 | 开发者 | 数学、编码和逻辑问题的逐步解答
工具调用 | 智能体构建者 | 先思考该用哪个工具、再选出的函数调用
长文档 | 分析师 | 针对最长 128K token 输入的回答，可扩展到 512K

如何设置：

• Python 和 huggingface_hub 软件包
• 用来加载模型的 transformers 库
• 为权重留出空间，BF16 约 17.6 GB，按 4-bit 估计约 4.4 GB

1. 如果还没有 Python，先安装。
2. 用下面第一条命令安装 huggingface_hub 软件包。
3. 用第二条命令下载模型文件。
4. 按照模型页面，用 transformers 库加载模型。

pip install -U huggingface_hub
hf download ibm-granite/granite-4.2-8b

如何使用：文件放到你的电脑上之后，你加载模型并向它发送聊天消息。模型卡描述了可以按每次查询选择的三种思考模式。完整思考是默认的，还有不思考和低强度模式，用来降低延迟。具体的运行步骤，Hugging Face 指向了模型页面。

示例：你在开启完整思考的情况下，给模型一道多步骤的数学应用题。模型卡说它会先通过内置的思维链推理一步步想，再给出最终答案。

新手与专家：推理模型会在回答之前先写出它的思考，这可能让难题的答案更好，但也更慢。一个好的起步是下载文件，读一读模型页面，看看如何切换思考模式。

它的设计是稠密的仅解码器 transformer，采用分组查询注意力，有 32 个注意力头和 8 个键值头，使用旋转位置编码、SwiGLU 前馈层和 RMSNorm。输入和输出嵌入是分开的，精度为 bfloat16。原生上下文是 128K token，另有扩展到 512K 的长上下文扩展。

用 hf 下载文件
用 transformers 加载模型
发送聊天消息
选择思考模式
得到推理过程和答案

注意事项：

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 下载时从 Hugging Face 获取文件，来源没有提到其他内容
• 测试过的语言：十二种，包括英语、日语、阿拉伯语和中文，模型卡说其他语言可能也能用，但没有充分测试
• Hugging Face 标注的参数量是 8.8B，而模型卡表格写的是 8B

Title: 上下文长度，单位千 token
Native context: 128 K
With long-context extension: 512 K

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：8.8B
• Weights: about 17.6 GB in BF16; about 4.4 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：61,674
• 点赞：120
• 许可证：apache-2.0
• 语言：en, de, es, fr, ja, pt, ar, cs
• 基于：ibm-granite/granite-4.1-8b-base
• Quantized versions: 64
• Fine-tunes: 19
• 标签：transformers, safetensors, granite, text-generation, granite-4.2, reasoning, thinking, tool-calling, conversational

链接

• 模型：https://huggingface.co/ibm-granite/granite-4.2-8b
• 文件：https://huggingface.co/ibm-granite/granite-4.2-8b/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ibm-granite/granite-4.2-8b

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。