K2-Horizon-7B-GGUF

K2-Horizon-7B-GGUF

IFM 的 K2-Horizon-7B 文本模型的量化 GGUF 副本，可在 llama.cpp 中本地运行，从 BF16 到 4 位都有，上下文窗口为 512K 词元。

由 IFM 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 K2-Horizon-7B 的 GGUF 副本。K2-Horizon-7B 是 IFM 推出的纯解码器文本模型，核心为 7B，上下文窗口 512K 词元。GGUF 格式让你可以用 llama.cpp 在本地运行，而不用调用托管服务。

每个文件都带有分词器数据和 llama.cpp 能读取的聊天模板，所以聊天时不需要额外的设置文件。

适合谁：适合想在自己电脑上运行开源 7B 级模型、并处理长输入的人。模型卡说 IFM 在智能体、编程、长上下文和推理基准上测试过基础模型。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 运行本地的编程和工具调用模型 | 在工作站上离线运行的编程助手
研究 | 机器学习研究者 | 研究开源模型及其公开的检查点 | 比较不同训练阶段的行为
文档 | 分析师 | 把长文本放进同一个提示词 | 针对一份长报告提问
爱好者 | 本地 AI 用户 | 在普通硬件上试用量化模型 | 在家用电脑上跑 4 位副本

如果你想用托管的聊天服务，或者你的 llama.cpp 版本比模型卡写的版本旧，可以跳过它。

用在哪里：这些文件可在 Windows、macOS 和 Linux 上配合 llama.cpp 及基于它的工具使用。

• llama.cpp，需来自支持 K2 Horizon 架构的版本
• 能运行 llama.cpp 的 Windows、macOS 和 Linux
• 任何通过 llama.cpp 加载 GGUF 文件的聊天前端

Use case | Who | What they get back
本地聊天 | 有较新电脑的人 | 不需要云账号就能得到模型的回复
长文档提问 | 分析师和写作者 | 基于长篇输入得出的回答
编程和智能体测试 | 开发者 | 一个可用于智能体和编程任务的本地模型

如何设置：你需要 Python 来运行下载工具，还需要认识 K2 Horizon 架构的 llama.cpp 版本。模型卡说主线支持在 b11454 版本中加入。

• 带 pip 的 Python
• 来自 b11454 或更新版本的 llama.cpp
• 磁盘空间：4 位副本约 4.5 GB，这是 Hugging Face 的估算

1. 用 pip 安装 Hugging Face 的 hub 工具。
2. 用 hf 命令下载仓库文件。
3. 让 llama.cpp 指向你想用的 GGUF 变体。

pip install -U huggingface_hub
hf download IFM/K2-Horizon-7B-GGUF

如何使用：在 llama.cpp 中加载其中一个 GGUF 文件，然后和它聊天。内置的聊天模板会替你处理提示词格式。模型卡列出了这些变体。

Variant | What it is
BF16 | 全精度副本，文件最大
Q8_0 | 8 位量化
Q6_K | 6 位量化
Q5_K_M | 5 位量化，混合型
Q5_0 | 5 位量化，普通型
Q4_K_M | 4 位量化，列出的最小文件

示例：你在 llama.cpp 中打开 Q4_K_M 文件，请它解释你项目里的一段报错堆栈。模型会在聊天中回复，整个过程只在你自己的机器上运行。

新手与专家：如果你是新手，先选 4 位的 Q4_K_M 文件，因为它最小，对内存最友好。用较新的 llama.cpp 加载文件，然后输入问题。如果回答显得吃力，再试更大的变体。

如果你熟悉这个领域：K2-Horizon-7B 处在 K2-Horizon 家族的中间位置，是稠密模型。原生 524,288 词元的上下文从中期训练阶段开始。IFM 还公开了中间检查点，以及训练数据、配方、代码和评估资源。量化越低，文件越小，准确度也会有所损失。

从仓库下载一个 GGUF 文件
在支持 K2 Horizon 的 llama.cpp 中加载
内置聊天模板整理你的提示词
模型在你自己的机器上回复

注意事项：模型卡的表格把这个模型和 Gemma 4-12B、Qwen3.5-9B 以及 Granite 4.2-8B 在竞赛数学上做了比较。请把这些当作作者自己给出的数字。

Title: HMMT Feb 2026 竞赛数学得分
K2-Horizon-7B: 73.3 分
Granite 4.2-8B: 66.5 分
Qwen3.5-9B: 65.7 分
Gemma 4-12B: 63.1 分

• License: Apache 2.0
• Cost to run: 未提及费用，你在自己的硬件上运行
• Data it reaches: 你从 Hugging Face 下载的文件，以及你在本地输入的提示词
• Not for: 不支持 K2 Horizon 的旧版 llama.cpp

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：9B
• Weights: about 4.5 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：24,083
• 点赞：84
• 许可证：apache-2.0
• 语言：en
• 基于：IFM/K2-Horizon-7B
• Fine-tunes: 1
• 标签：transformers, gguf, k2-horizon, 7b, dense, open-weights, text-generation, conversational

链接

• 模型：https://huggingface.co/IFM/K2-Horizon-7B-GGUF
• 文件：https://huggingface.co/IFM/K2-Horizon-7B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download IFM/K2-Horizon-7B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。