K2-Horizon-3.7B-GGUF

K2-Horizon-3.7B-GGUF

3.7B 参数 K2-Horizon 文本模型的 GGUF 文件，提供从 BF16 到 Q4_K_M 的六种精度，用于 llama.cpp 运行。模型有 512K token 的上下文窗口。

由 IFM 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：K2-Horizon-3.7B-GGUF 收录了 IFM 的 K2-Horizon-3.7B 的 GGUF 版本，这是一个小型的稠密解码器文本模型。文件是给 llama.cpp 用的，有六种精度。

每个文件都带有 llama.cpp 能读取的分词器数据和聊天模板。基础模型有 512K 的上下文窗口，发布时公开了训练数据、训练方案、代码和评测资源。

适合谁：想在自己的硬件上运行小型开源模型的开发者和研究人员。想研究训练材料公开的模型的学生也适合。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 通过 llama.cpp 在本地运行小型文本模型 | 加载 Q4_K_M 文件做一个轻量助手
研究 | 训练研究人员 | 研究能力在各训练阶段如何变化 | 查看基础模型的中间检查点
教育 | 学生 | 学习开源模型如何用公开材料构建 | 阅读公开的训练方案和评测资源
智能体开发 | 原型开发者 | 用小模型试编程和智能体风格的提示词 | 用你自己的编程问题测试它

想要现成聊天应用的人可以略过它，因为这些是需要你自己在 llama.cpp 里加载的模型文件。

用在哪里：

• llama.cpp，需要是支持 K2 Horizon 架构的版本
• 装有 Python 的 Windows、macOS 或 Linux，下载步骤在这里运行
• 你自己的电脑，因为 4-bit 权重估计约 2.5 GB

使用场景 | 谁用 | 得到什么
运行小型本地助手 | 开发者 | 在你自己机器上由 3.7B 模型给出的文字回复
试编程和智能体提示词 | 开发者 | 来自一个模型卡称在智能体、编程和推理基准上测试过的模型的输出
处理长输入 | 分析人员 | 有 524,288 个 token 的上下文窗口空间

如何设置：先检查你的 llama.cpp 版本，因为旧版本无法加载这种架构。

• Python 和 pip，用于 Hugging Face 下载工具
• 版本为 b11454 或更新的 llama.cpp，K2 Horizon 的主线支持就是在这个版本合并的
• 放得下你所选变体的磁盘空间

1. 安装 huggingface_hub 包。
2. 用 hf 命令下载整个仓库，或从它的 Files 标签页挑一个变体文件。
3. 把 llama.cpp 更新到支持 K2 Horizon 的版本。
4. 在 llama.cpp 里加载 GGUF 文件。

pip install -U huggingface_hub
hf download IFM/K2-Horizon-3.7B-GGUF

如何使用：在 llama.cpp 里加载其中一个 GGUF 文件，然后和它聊天。每个文件都已含有分词器数据和聊天模板，所以你不用另外提供。按你的内存大小挑变体。

文件变体 | 名称说明了什么
BF16 | 原始的 BF16 精度，没有量化
Q8_0 | 8-bit 量化
Q6_K | 6-bit 量化
Q5_K_M | 5-bit 量化
Q5_0 | 5-bit 量化，另一种方案
Q4_K_M | 4-bit 量化，列出的变体中最小

示例：你在支持 K2 Horizon 的 llama.cpp 版本里加载 Q4_K_M 文件。你输入 "Write a Python function that parses a CSV file." 文件里的聊天模板会格式化它，模型用文字回答。

新手与专家：把这些文件看成同一个小模型存成的不同大小。文件越小，占用内存越少，精度也会损失一些。第一次尝试可以选 Q4_K_M 文件，因为它是列出的变体里最小的。

从底层看，基础模型是一个稠密解码器网络，核心 3.7B。它能处理 524,288 个 token 的上下文，这个长度从中期训练阶段起就是训练目标。量化的代价是精度降低，换来更少的内存。模型卡把它和其他 3B 到 4B 参数的开源稠密模型做了比较。

下载一个 GGUF 变体文件
把 llama.cpp 更新到支持的版本
加载带内置模板的文件
和模型聊天

注意事项：模型卡里的基准图是一张图片，所以这里不重复它的分数。

Title: 参数量，单位十亿
K2-Horizon-3.7B: 3.7 B
Qwen3.5-4B: 4 B
G9v3-3B: 3 B
Granite 4.2-3B: 3 B
Nemotron 3 Nano-4B: 4 B

• 规模：模型卡说它的核心是 3.7B，而 Hugging Face 的记录给这些文件列的是 5.1B 参数
• 内存：4-bit 文件估计接近 2.5 GB
• 语言：列出的只有英语
• License: Apache 2.0
• Cost to run: 没有提到 API 密钥或付费服务
• Data it reaches: 你下载的文件，以及你在自己机器上输入 llama.cpp 的提示词
• Not for: 模型卡除许可证外没有列出其他限制

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：5.1B
• Weights: about 2.5 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：19,581
• 点赞：60
• 许可证：apache-2.0
• 语言：en
• 基于：IFM/K2-Horizon-3.7B
• 标签：transformers, gguf, k2-horizon, 3.7b, dense, open-weights, text-generation, conversational

链接

• 模型：https://huggingface.co/IFM/K2-Horizon-3.7B-GGUF
• 文件：https://huggingface.co/IFM/K2-Horizon-3.7B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download IFM/K2-Horizon-3.7B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。