Flint INT4

Flint INT4

Recursive Flint 的 4-bit MLX 版本，约 22.6 GB，用于 Apple Silicon 本地运行，可通过 Rec 配合 pi 或 OpenCode 启动。适合想把 Flint 接入编程工具的 Mac 用户和开发者。

由 RecursiveSI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Flint INT4 是 Recursive Flint 的 4-bit 版本，采用 MLX 格式，主要用于在 Apple Silicon 上本地运行。投影层和专家层使用分组 64 的仿射 INT4，嵌入层使用 INT8。权重约占 22.6 GB。关于模型细节，模型卡让你去看 Flint 自己的页面。

适合谁：适合想在自己机器上运行 Flint 的 Mac 用户，也适合想把它接到编程工具后面的开发者。还适合想要更小的 4-bit 权重、而不是全精度版本的人。

Industry | Who uses it | How they use it | Example
软件 | 使用 Mac 的开发者 | 运行本地模型获取编程帮助 | 通过 Rec 工具启动它
AI 工具 | 智能体用户 | 把本地模型连接到 pi 或 OpenCode | 用 Rec 启动器打开 OpenCode
日常使用 | 注重隐私的用户 | 和一个留在电脑上的模型聊天 | 在 Apple Silicon Mac 上离线运行 Flint
研究 | 量化研究人员 | 研究带 INT8 嵌入的 4-bit 仿射权重 | 和全精度版本对比

如果你没有 Apple Silicon Mac，可以跳过 MLX 文件，在 Metal 上用 llama.cpp 的用户应改用单独的 Flint INT4 GGUF 版本。

用在哪里：

• Apple Silicon Mac，模型卡把它列为主要目标
• Rec，它可以用这个模型启动 pi 和 OpenCode 编程工具
• Windows、macOS 或 Linux，如果你只想下载权重

Use case | Who | What they get back
本地文字生成 | Mac 用户 | 在你自己机器上生成的回复
编程工具后端 | 开发者 | 通过 Rec 放在 pi 或 OpenCode 背后的本地模型
下载权重 | 任何人 | INT4 文件的本地副本，放在你选的文件夹里

如何设置：

• 如果只想下载文件，需要 Python 和 pip
• 带 Apple Silicon、内存足以放下约 22.6 GB 权重的 Mac
• 按 Rec 自己的要求和安装指南装好的 Rec

1. 安装 Hugging Face hub 包。
2. 下载权重，可以用普通命令，也可以下载到指定文件夹。
3. 或者安装 Rec，让它启动使用这个模型的工具。

pip install -U huggingface_hub
hf download RecursiveSI/flint-int4

hf download RecursiveSI/flint-int4 --local-dir flint-int4

如何使用：装好 Rec 之后，启动你想用的工具，pi 或 OpenCode 都可以。模型卡的另一条路线是单独下载权重，再用你的 MLX 工具加载。

rec launch pi
# Or use OpenCode:
rec launch opencode

Tool | What it does
rec launch pi | 用这个模型启动 pi 工具
rec launch opencode | 用这个模型启动 OpenCode
hf download | 把权重保存到本地文件夹

示例：你安装 Rec，运行 pi 的启动命令，然后在工具里开始工作。你输入的请求会发给本地的 Flint INT4 模型，而不是在线服务。

新手与专家：如果你刚接触，最简单的路线是安装 Rec，按它的指南操作，再运行一条启动命令。你不需要自己处理权重。

专家会注意到量化的分工。投影层和专家层是分组 64 的仿射 INT4，嵌入层是 INT8，总共约 22.6 GB。Flint 自己的模型卡里有基准测试、聊天约定和限制。它的训练数据混合了公开和抓取的网页文本、代码、授权数据和合成数据，随后进行了指令调优、强化学习和偏好数据训练。

按指南安装 Rec
为 pi 或 OpenCode 运行启动命令
工具加载 INT4 权重
你使用本地模型工作

注意事项：

• Size: 约 22.6 GB 的 INT4 和 INT8 权重
• Target: 主要用于 Apple Silicon 上的本地推理
• Other format: 在 Metal 上用 llama.cpp 需要单独的 GGUF 版本
• License: Apache 2.0
• Cost to run: 未提及，不需要 API 密钥或账号，只需要内存足够的 Mac
• Data it reaches: 会从 Hugging Face 下载权重，并读取你在工具里输入的内容
• Not for: 来源没有列出禁止用途，模型卡让你去 Flint 自己的页面了解限制

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：mlx
• Formats: Safetensors
• 最近 30 天下载：22,586
• 点赞：30
• 许可证：apache-2.0
• Quantized versions: 2
• Fine-tunes: 1
• 标签：flint, int4, safetensors, text-generation, conversational

链接

• 模型：https://huggingface.co/RecursiveSI/flint-int4
• 文件：https://huggingface.co/RecursiveSI/flint-int4/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download RecursiveSI/flint-int4

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。