flint-mixed-3-4bit

flint-mixed-3-4bit

社区制作的 Recursive Flint 40B 编程模型 MLX 版本，把专家层压到 3 位，可在 24 GB 或 32 GB 的 Apple Silicon Mac 上运行。适合想在 Mac 上用本地编程模型的开发者。

由 mlx-community 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个社区制作的 Recursive Flint 的 MLX 版本，Flint 是一个 40B 的编程模型，面向 Apple Silicon。只有路由专家层，约占权重的 95%，从 4 位压到了 3 位。结果在磁盘上占 17.8 GB，使用时峰值接近 19.5 GB。它是非官方版本，没有得到 Recursive 的认可。

适合谁：如果你有 24 GB 或 32 GB 的 Apple Silicon Mac，想在本地运行大型编程模型，而不是通过云服务，它很适合开发者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在 Mac 上运行本地编程助手 | 根据一句平实的请求写出一个函数
开发工具 | 智能体用户 | 让编程智能体指向本地服务 | 在智能体工具里使用本地端点
研究 | 机器学习爱好者 | 研究混合专家模型的混合位宽量化 | 比较不同版本的困惑度
有隐私需求的团队 | 工程团队 | 让源代码留在笔记本上 | 不把代码发出去就能审查

如果你需要官方版本，或者你的 Mac 内存不到 24 GB，可以跳过它，因为模型卡还没有在 24 GB 的机器上测试过。

用在哪里：

• 内存 24 GB 或 32 GB 的 Apple Silicon Mac，通过 mlx-vlm
• 编程智能体可以调用的本地服务，比如 pi 或 OpenCode
• 终端，用于一次性提示词

用途 | 谁用 | 得到什么
代码生成 | 开发者 | 作为回复的代码，思考过程单独返回
本地智能体后端 | 智能体用户 | 给编程工具用的本地端点
适配测试 | Mac 用户 | 给社区的内存和速度报告

如何设置：

• 内存 24 GB 或 32 GB 的 Apple Silicon Mac
• Python，以及 0.7.10 或更新的 mlx-vlm
• 约 17.8 GB 磁盘空间

1. 安装 mlx-vlm。
2. 仅在 24 GB 的 Mac 上，调高 GPU 内存上限，直到下次重启。
3. 用模型卡要求保持的采样设置运行模型。

pip install -U mlx-vlm

sudo sysctl iogpu.wired_limit_mb=20480

pip install -U huggingface_hub
hf download mlx-community/flint-mixed-3-4bit

如何使用：你用模型卡的采样设置运行 generate 命令，这些设置遵循 Recursive 的建议。对于编程智能体，启动本地服务，并在每次请求里带上同样的设置。模型回答前会先思考，常常有一两万到三万 token，所以总上下文请保持在 32K 左右。

mlx_vlm.generate --model mlx-community/flint-mixed-3-4bit --temperature 1.0 --top-p 0.95 --top-k 20 \
  --max-tokens 32768 --prompt "Write a Python function that merges overlapping intervals."

mlx_vlm.server --model mlx-community/flint-mixed-3-4bit --port 8080

选项 | 作用
temperature 1.0 | 模型卡要求保持的采样设置
top-p 0.95 | 模型卡要求保持的采样设置
top-k 20 | 模型卡要求保持的采样设置
max-tokens 32768 | 为回答前的长时间思考留出空间

示例：你要求写一个合并重叠区间的 Python 函数。模型先思考一会儿，再返回这个函数。在 24 GB 的 Mac 上，请先关掉开了很多标签页的浏览器之类的大型应用。

新手与专家：这是一个被压缩到能在普通 Mac 上运行的大型编程模型。第一次尝试时，可以在 24 GB 的机器上先调高 GPU 上限，再用模型卡里合并区间的提示词。

如果你熟悉这个领域，模型卡从 Recursive 的 INT4 权重出发，因为它们本来就是按 4 位训练的，只把路由专家层压到 3 位，每 64 个权重一组，选取舍入误差最小的缩放。注意力、嵌入和输出层保持训练好的值。在模型卡的测试里，86% 的下一个 token 与 INT4 一致。

安装 mlx-vlm
在 24 GB 的机器上调高 GPU 内存上限
运行 generate 或启动服务
模型先思考，再回答

Title: 模型卡测试中的困惑度，越低越好
This build: 4.42
Recursive INT4: 4.62
6-bit from BF16: 4.86
3-bit experts and 6-bit rest: 5.19
3-bit experts and 4-bit rest: 8.44

注意事项：

• 适配：模型卡在一台 64 GB 的 Mac 上测过内存，还没有在真正的 24 GB 机器上测试。
• 工具调用：在 mlx-vlm 0.7.10 里，模型有时会用错参数名，一次智能体测试里 85 次调用有 41 次失败，但所有任务仍然通过。
• 困惑度：模型卡提醒，比 INT4 更低的数字并不等于更好。
• 编程任务：它和 Recursive 的 INT4 一样解决了 6 个任务中的 6 个。
• License: Apache 2.0。
• Cost to run: 未提及。
• Data it reaches: 它会从 Hugging Face 下载模型文件，本地服务在你的机器上运行。
• Not for: 内存不到 24 GB 的 Mac，或需要 Recursive 官方版本的人。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：mlx
• 参数量：39.8B
• Weights: about 159 GB in U32
• Formats: Safetensors
• 最近 30 天下载：5,091
• 点赞：12
• 许可证：apache-2.0
• 基于：RecursiveSI/flint-int4
• 标签：safetensors, flint, code, coding-agent, apple-silicon, 24gb, 32gb, 3-bit, text-generation, conversational, 4-bit

链接

• 模型：https://huggingface.co/mlx-community/flint-mixed-3-4bit
• 文件：https://huggingface.co/mlx-community/flint-mixed-3-4bit/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download mlx-community/flint-mixed-3-4bit

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。