flint-GGUF

flint-GGUF

用 Unsloth 的 GGUF 文件运行 Flint，这是面向编程智能体的 39.8B 混合专家模型，每个词元只用约 2.5B 参数。适合在本地运行编程智能体的开发者。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：flint-GGUF 收录了 Flint 的 Unsloth GGUF 版本，Flint 是 Recursive 为编程智能体打造的语言模型。它总共有 398 亿参数，每个词元约有 25 亿处于激活状态。

Flint 用来探索代码库、修复缺陷、添加功能和编写测试。它读写文字，会推理，并支持多轮工具使用。

适合谁：适合想在自己机器上运行编程智能体模型的开发者，也适合在软件工程任务上比较本地模型的团队。

Industry | Who uses it | How they use it | Example
软件 | 使用编程智能体的开发者 | 在智能体背后运行本地模型 | 让它修复仓库里的一个缺陷
工程团队 | 维护大型代码库的团队 | 让智能体写测试 | 为新功能生成测试
研究 | 比较编程模型的人 | 在软件工程任务上给它打分 | 与其他本地模型对比

如果你需要图像或音频输入，可以跳过它，因为 Flint 输入输出的都是文字。

用在哪里：

• 能打开 GGUF 文件的本地运行器
• Unsloth Desktop，卡片展示了它带思考控制的界面
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
修复缺陷 | 开发者 | 模型调查代码库后提出的代码改动
功能开发 | 智能体构建者 | 经过多轮工具使用得到的实现
编写测试 | 维护者 | 为现有代码写的新测试

如何设置：

• 用来运行下载命令的 Python 和 pip
• 足够放下文件的内存，因为按 Hugging Face 的估算，4 位权重约 19.9 GB
• 一个支持 GGUF 的运行器，或 Unsloth 的 Flint 运行指南

1. 安装 Hugging Face 工具。
2. 从这个仓库下载 GGUF 文件。
3. 在你的运行器里打开它们，照 Unsloth 的 Flint 指南操作。

pip install -U huggingface_hub
hf download unsloth/flint-GGUF

如何使用：在运行器里加载文件，并把智能体或聊天连到它上面。作者做评测时用的是 temperature 1.0、top-p 0.95 和 top-k 20。

Property | Flint
总参数 | 39.8B
每个词元激活 | 约 2.5B
层数 | 共 49 层，前 2 层稠密，其余 47 层是混合专家
注意力 | 35 层只看局部窗口，14 层关注完整上下文
专家 | 256 个路由专家，每个词元选 6 个，另有一个始终开启的共享专家
上下文 | 文档记载的设置是 262,144 词元

示例：你把编程智能体指向一个有失败测试的仓库，请它找到并修复缺陷。模型会在多轮里调查代码、调用工具并提出修复。

新手与专家：如果你刚接触编程智能体，先加载文件，问一个简单的编程问题。基本聊天能用之后，再换到智能体设置。

如果你熟悉这个领域，它是只有解码器的混合专家 Transformer，大多数层使用滑动窗口注意力。每个 MoE 层把词元路由到 256 个专家中的 6 个，还会运行一个共享专家。

下载 GGUF 文件
在本地运行器里打开
连接编程智能体
模型调查、修改并测试

注意事项：

• 分数是作者测的，Terminal-Bench 用 Terminus 2，SWE-bench 用 mini-swe-agent
• 他们的 Terminal-Bench 分数把通过网络检索得到的解法算作失败
• 原仓库放的是 BF16 检查点，量化版本另外准备
• Hugging Face 列出了别人做的 1 个量化版本和 1 个微调版本

Title: 作者的发布评测得分
Terminal-Bench 2.1: 54.9 %
SWE-bench Pro v2: 89.7 %
SWE-bench Verified: 74.2 %

• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 你下载的文件，以及你给它的代码和提示词
• Not for: 文字以外的输入

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：39.8B
• Weights: about 19.9 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：325,104
• 点赞：376
• 许可证：apache-2.0
• 基于：RecursiveSI/flint
• Quantized versions: 1
• Fine-tunes: 1
• 标签：gguf, flint, unsloth, text-generation, imatrix, conversational

链接

• 模型：https://huggingface.co/unsloth/flint-GGUF
• 文件：https://huggingface.co/unsloth/flint-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/flint-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。