clef-flash-4bit

clef-flash-4bit

Cloudflare 的 clef-flash 的 4 位 MLX 版本，在 Apple Silicon Mac 上把一个状态和带类型的问题变成每个允许答案的概率。不是聊天模型。用自带的加载器在本地运行。

由 mlx-community 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是转换成 4 位 MLX、面向 Apple Silicon 的 Cloudflare clef-flash。你给它一个状态，可以是文本、JSON、图像或视频，再加上一组带类型的问题。它一次计算就返回每个允许选项的概率。

它不是聊天模型。聊天工具也许能加载它的主干，但只会生成毫无意义的文字，所以你要使用随它附带的加载器文件 clef_mlx.py。

适合谁：适合有 Apple Silicon Mac、想在本地对消息、图像或其他输入做分类或路由，并且想要结构化答案而不是自由文本的开发者。

Industry | Who uses it | How they use it | Example
客户支持 | 支持工程师 | 按团队和紧急程度给收到的消息分流 | 把结账故障报告发给技术团队
运营 | 运营团队 | 根据一份报告判断服务是否宕机 | 把一条故障消息标为紧急
金融 | 后台开发者 | 检查收据之类的图像 | 询问收据总额是否清晰可读
软件 | 应用开发者 | 给 Mac 应用加入设备端决策 | 消息送到人手里之前先做本地分诊

如果你想找聊天模型，可以跳过它，没有 Apple Silicon 的人也一样。

用在哪里：

• 使用 MLX 的 Apple Silicon Mac。
• 导入自带加载器的 Python 脚本。
• 命令行，通过加载器的 predict 命令。
• 一个模拟 SystemOne API 的本地服务器。

Use case | Who | What they get back
消息分诊 | 支持团队 | 每个团队或紧急程度选项的概率
是非检查 | 运营 | 带类型问题的每个答案的概率
图像检查 | 开发者 | 关于附带图像的答案

如何设置：你需要一台 Apple Silicon Mac 和足够的内存。测试过的组合是 mlx 0.32.3、mlx-lm 0.32.0 和 mlx-vlm 0.7.4。如果你用的是没测试过的 mlx-vlm 小版本，加载器会发出警告。

• 一台 Apple Silicon Mac
• Python
• 这个 9B 4 位版本至少需要 16 GB Mac 内存
• 不需要 torch

1. 安装 mlx-vlm 和 Hugging Face 库。
2. 用下面的快照调用下载模型文件。
3. 从下载的文件夹导入 clef_mlx 并加载模型。

pip install "mlx-vlm>=0.7.4,<0.8" huggingface_hub   # no torch needed

如何使用：加载模型，然后用一个状态和一组带类型的问题调用 systemone。模型卡里的问题类型有 choice、score 和 noul。

import sys
from huggingface_hub import snapshot_download

path = snapshot_download("mlx-community/clef-flash-4bit")
sys.path.insert(0, path)
import clef_mlx

model = clef_mlx.load(path)
response = model.systemone({
    "model": "clef-flash",
    "state": "Our checkout started returning errors and orders are blocked.",
    "questions": {
        "department": {
            "type": "choice",
            "instructions": "Which team should handle the message?",
            "criteria": {"billing": "Payments or invoices", "technical": "Bugs or outages"},
        },
        "urgency": {"type": "score", "criteria": ["Can wait", "This week", "Today"]},
        "outage": {"type": "noul", "instructions": "Is a service down?"},
    },
})
print(response["answers"])

处理图像时，把 PIL 图像放进 images 字段。视频以帧数组的形式放进 videos 字段。

from PIL import Image
model.predict({
    "state": {"task": "Review the attached receipt."},
    "images": [Image.open("receipt.jpg")],
    "questions": {"legible": {"type": "noul", "instructions": "Is the receipt total legible?"}},
})

你也可以在下载好的文件夹里直接从命令行运行加载器：

cd "$(hf download mlx-community/clef-flash-4bit --quiet)"
python clef_mlx.py predict \
  --state "Checkout has been failing for every customer for the last hour." \
  --questions '{"urgent": {"type": "noul", "instructions": "Is this urgent?"},
               "team": {"type": "choice", "criteria": {"billing": "Payments", "technical": "Outages and errors"}}}'

如果想运行本地服务器，使用 serve 命令：

python clef_mlx.py serve --port 8000

Tool | What it does
clef_mlx.load | 从文件夹加载模型和它的问题头
model.systemone | 回答关于一个状态的带类型问题
model.predict | 在一次请求里接收状态、图像和问题
clef_mlx.py predict | 从命令行运行预测
clef_mlx.py serve | 启动带 systemone 端点的本地服务器

示例：给模型一份简短的报告，说结账失败、订单被卡住。问它该由哪个团队处理、有多紧急、是否有服务宕机。answers 字段里会有每个问题每个选项的概率。

新手与专家：如果你刚接触，可以把它想成一个分诊助手，对一个输入回答选择题，并显示它有多确定。用示例报告把 Python 示例跑一遍。

对专家来说，它是一个 9B 的基础模型加一个联合的 schema 头，一次前向计算就完成。模型卡列出的下载大小是 6.2 GB，从 1k 到 16k 标记峰值内存约 7.0 到 8.6 GB，1k 标记时延迟 0.31 秒。更大的 27B 版本得分更高，而 9B 版本跑得快得多。

提供一个状态和带类型的问题
加载器运行 4 位主干
联合 schema 头给每个选项打分
一次前向计算得出所有概率
你读取 answers 字段

Title: 下载大小，单位 GB
clef-flash-4bit: 6.2 GB
clef-flash-8bit: 10.7 GB
clef-4bit: 16.3 GB
clef-8bit: 29.8 GB

注意事项：下面几点说明了限制和成本。

• Memory: 在 macOS 下，GPU 默认只能用到大约四分之三的内存，所以要准备比峰值数字更多的内存。
• License: Apache 2.0。
• Cost to run: 没有提到 API 密钥或付费服务。
• Data it reaches: 你的状态和图像留在你的 Mac 上。本地服务器没有身份验证，只监听本机，除非你自己加代理，否则请保持这样。
• Not for: 聊天，或把它当普通文本模型加载。请求一次只处理一个，服务器也不支持视频。

Hugging Face 上的数据（2026年11月13日）

• 任务：zero shot classification
• 框架：mlx
• 参数量：9.4B
• Weights: about 37.6 GB in U32
• Formats: Safetensors
• 最近 30 天下载：3,524
• 点赞：40
• 许可证：apache-2.0
• 基于：Cloudflare/clef-flash
• 标签：safetensors, qwen3_5, clef, cloudflare, systemone, structured-output, classification, multimodal, custom-code, decision-model, zero-shot-classification, 4-bit

链接

• 模型：https://huggingface.co/mlx-community/clef-flash-4bit
• 文件：https://huggingface.co/mlx-community/clef-flash-4bit/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download mlx-community/clef-flash-4bit

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。