Cloudflare clef GGUF

Cloudflare clef GGUF

Cloudflare 的 clef 决策模型的静态 GGUF 量化版本，它不写文字，而是一次性为关于某个状态的类型化问题的每个选项打分。适合用 llama.cpp 运行它的开发者。

由 bartowski 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库提供 Cloudflare 的 clef 的 GGUF 量化版本，由 llama.cpp 制作。Clef 做的是决策，而不是写文章。你给它一个以文本或 JSON 表示的情境，再加上一组类型化的问题。它一次就为每个问题的每个允许答案返回一个概率。因为它从不写文字，所以你不需要设置聊天、补全或提示词模板。

适合谁：它适合想要快速的分流和判断、并希望得到可据以行动的概率，同时能运行 llama.cpp 服务器的开发者。

行业 | 谁在用 | 怎么用 | 例子
客户支持 | 支持团队 | 一次调用就完成工单分流、标记愤怒情绪和评估紧急程度 | 给一条关于重复扣款的消息打分
运营 | 运营团队 | 把收到的请求分到正确的队列 | 在账单、物流和技术之间选择
软件 | 开发者 | 用类型化的问题取代先写提示词再解析的步骤 | 一次得到多个问题的分数
自动化 | 工作流搭建者 | 根据返回的概率决定是否执行某一步 | 紧急程度得分高时升级处理

如果你想要能聊天或写文字的模型，可以跳过它。

用在哪里：你用 llama.cpp 的 llama-server 提供服务，并调用它的 system-one 接口。

• llama.cpp 里的 llama-server，模型卡说它提供这个接口
• 文字输入，加上 mmproj 文件后也可以输入图像
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

场景 | 适合谁 | 得到什么
工单分流 | 支持团队 | 每个团队选项的概率
情绪标记 | 运营团队 | 客户是否愤怒的概率
紧急程度评估 | 开发者 | 每个紧急等级的概率

如何设置：你需要 llama.cpp 和一个量化文件。模型卡用 llama.cpp 的 b11430 构建制作了这些文件。仓库里有全部量化文件，所以模型卡指向一个下载部分，教你只取其中一个。

• 带 llama-server 的 llama.cpp
• 一个 GGUF 文件，模型卡的默认推荐是 Q4_K_M
• 为你选的大小留出足够的磁盘空间和内存

1. 从表里选一个文件，Q4_K_M 或更大的。
2. 从仓库下载它。
3. 用这个文件启动 llama-server。

Title: 模型卡里提到的文件
量化类型 | 大小 | 用途
bf16 | 54.06 GB | 完整权重，分成多个部分存放
Q8_0 | 28.80 GB | 质量最高，多数人用不到这么高
Q6_K_L | 23.96 GB | 近乎完美的质量，推荐
Q6_K | 23.34 GB | 近乎完美的质量，推荐
Q5_K_M | 20.64 GB | 高质量，推荐
Q4_K_M | 17.65 GB | 质量和大小的良好平衡，模型卡的默认选择

pip install -U huggingface_hub
hf download bartowski/Cloudflare_clef-GGUF

如何使用：向服务器的 system-one 接口发送请求，带上一个状态和一组问题。llama-server 的 README 记录了确切的请求和回复格式。模型卡的示例用了三种问题类型。

工具 | 作用
llama-server | 用 GGUF 文件提供模型服务
systemone endpoint | 接收一个状态和多个问题，返回概率
choice question | 在命名的选项里选择，比如账单、物流或技术
score question | 沿着有序的等级打分，从可以等一等到马上处理
noul question | 问一个问题，比如客户是否愤怒

示例：你发送一条客户消息，说他们上周被重复扣款，而且没人回复。你再加上三个问题：应该由哪个团队处理，客户是否愤怒，以及有多紧急。服务器会为每个问题的每个选项返回一个概率。

新手与专家：决策模型用数字而不是句子来回答类似选择题的问题。先下载 Q4_K_M，发送一个只含一个选择题的请求试试。

对行家来说，把最后隐藏状态变成答案的决策头，在每个量化文件里都保持 Q8_0。这个模型没有 imatrix，因为 llama.cpp 的 imatrix 工具要观察生成文字时的令牌概率。所以每个文件都是静态量化。困惑度和 KL 散度同样无法测量。

你发送一个状态和类型化的问题
llama-server 运行一次前向计算
决策头给每个选项打分
每个问题都返回概率
你的应用根据这些数字行动

注意事项：每权重不到 4 位的文件，也就是 Q3 系列、IQ3_M 和 Q2_K，比同样大小的 imatrix 版本损失的质量明显更多。需要 imatrix 的格式，比如 IQ1 和 IQ2，没有提供。文件说明只是一般性指导，不是针对这个模型的测量值。

Title: 各量化类型的文件大小
bf16: 54.06 GB
Q8_0: 28.80 GB
Q6_K_L: 23.96 GB
Q6_K: 23.34 GB
Q5_K_M: 20.64 GB
Q4_K_M: 17.65 GB

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 你发送的状态（文本或 JSON），加上 mmproj 文件后还有图像
• Not for: 聊天或文本生成，因为它没有补全接口，只返回概率

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 参数量：27B
• Weights: about 13.5 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：18,354
• 点赞：36
• 许可证：apache-2.0
• 基于：Cloudflare/clef
• 标签：gguf, clef, cloudflare, systemone, qwen3.8, post-train, image-text-to-typed-output, multimodal, structured-output, classification, custom-code, image-text-to-text

链接

• 模型：https://huggingface.co/bartowski/Cloudflare_clef-GGUF
• 文件：https://huggingface.co/bartowski/Cloudflare_clef-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download bartowski/Cloudflare_clef-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。