Clef-LoRA-for-Qwen3.8-27B-GGUF

Clef-LoRA-for-Qwen3.8-27B-GGUF

把 Cloudflare Clef 的决策头加到 Qwen3.8-27B 聊天模型上，让一台 24 GB GPU 上的 llama.cpp 服务器既能回答带类型的问题，也能聊天。它是 LoRA 适配器，不是独立模型。

由 trevest 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库把 Qwen3.8-27B 模型的 LoRA 适配器和 Cloudflare 的 Clef 决策头打包在一起。它不能单独运行。在 llama.cpp 里的同一份 Qwen3.8-27B 之上，它给你两样东西：Clef 的带类型决策，以及普通聊天。

适合谁：运行本地模型服务器，并希望用同一份权重做决策和聊天的开发者。设计瞄准的是 24 GB GPU。把 Clef 当成单独的模型运行，会多出大约 15 GB，放不进聊天模型旁边。

Industry | Who uses it | How they use it | Example
软件 | 有本地服务器的开发者 | 用一个常驻模型同时提供决策和聊天 | 根据带类型的问题给一条消息打分，再起草回复
自托管 | 家庭实验室和小团队管理员 | 在一块 24 GB GPU 上放下两项工作 | 不必再加载第二个 15 GB 的模型
自动化 | 流水线开发者 | 在同一个服务器上串起决策、撰写和验证步骤 | 运行卡片里的演示脚本
研究 | 模型研究人员 | 研究作用在后几层的 LoRA 如何携带决策头 | 检查适配器和补丁

没有合适 GPU，或者想要现成独立模型的人可以跳过它。Mac 用户请使用另一个 MLX 版本。

用在哪里：

• 在带 24 GB GPU 的电脑上运行打过补丁的 llama.cpp 服务器
• 提供决策接口的 CPU 辅助服务
• 一个客户端，决策走一条路径，聊天走另一条
• Docker，仓库用它来构建打过补丁的服务器和辅助服务

Use case | Who | What they get back
带类型的决策 | 开发者 | 一次计算就得出每个问题每个答案选项的概率
聊天 | 使用同一台服务器的任何人 | 普通的 Qwen3.8-27B 回复，带 MTP 推测解码
决策、撰写、验证 | 流水线开发者 | 一个同时走通两条路径的 Node 演示

如何设置：

• 一块 24 GB 显存的 GPU
• 一个 Qwen3.8-27B GGUF 主干，约 15.1 GB，例如同一作者的 Tetris 4.4bpw 文件
• 这个仓库的文件，约 1.6 GB
• 带上仓库补丁构建的 llama.cpp 源码
• Node 20 或更新版本，用于演示脚本

1. 安装 Hugging Face hub 工具，并下载这个仓库的文件。
2. 获取一个 Qwen3.8-27B GGUF 主干。
3. 取得 llama.cpp 源码，检出补丁对应的提交，并应用补丁。
4. 用 CUDA 构建 llama-server 目标，然后按卡片剩下的步骤下载权重，并启动服务器和辅助服务。

pip install -U huggingface_hub
hf download trevest/Clef-LoRA-for-Qwen3.8-27B-GGUF

git checkout ad1de39e0708e3ced9c71bb3c82d93a2c046a73f
git apply /path/to/llama.cpp-patch/0001-embeddings-lora-f16.patch
cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=120 && cmake --build build --target llama-server -j

如何使用：把决策请求发到辅助服务的 systemone 接口，带上状态和带类型的问题。把聊天请求发到服务器的 chat completions 接口。聊天时 LoRA 保持在 scale 0，只有决策请求才会切到 scale 1。

Tool | What it does
clef-lora-f16.gguf | llama.cpp 的 LoRA 适配器，f16，668M 参数
joint_head.safetensors | Clef 的联合结构头，与 Cloudflare 的版本相同
tokenizer.json | Clef 的分词器，未改动
llama.cpp-patch | 引擎补丁，以及构建打过补丁的服务器的 Dockerfile
clefhead | 提供决策接口的 CPU 辅助服务
examples/one_model_demo.mjs | 一个先决策、再撰写、再验证的 Node 流水线

示例：一个客户端向决策接口发送一条消息，并问它是否紧急这个带类型的问题。辅助服务在 LoRA 开启时从服务器取得隐藏状态，并返回每个选项的概率。向另一条路径发聊天请求，则返回普通回复。

新手与专家：这是给已经在运行 llama.cpp 的人用的进阶配置。比较温和的第一步是先看卡片里的文件表，等两个服务器都跑起来后，再运行一次演示脚本。

Clef 建立在 Qwen3.8-27B 之上，把一个 LoRA 合并进第 40 到 63 层，其他地方都不动。前面的层、嵌入、输出头和视觉塔与基础模型逐字节一致。辅助服务向 llama-server 要每个提示词词元的最终隐藏状态，再套用 Clef 的头。一个小的 llama.cpp 补丁加入了按请求的 LoRA、紧凑的隐藏状态输出，以及与嵌入并用的 MTP 支持。

客户端向辅助服务发出决策请求
辅助服务在 LoRA 开启时向服务器要隐藏状态
服务器返回每个提示词词元的最终状态
Clef 头给出每个选项的概率

注意事项：

• Backbone: 你需要单独的 Qwen3.8-27B GGUF。用当前转换器从对应版本转换出来的文件应该都能用。
• Patch: 原版 llama.cpp 需要这个补丁，所以构建步骤不能省。
• Hardware: 卡片提到的预构建镜像只面向 Blackwell 显卡的 CUDA 13.0。
• License: Apache 2.0。
• Cost to run: 未提及。你需要一块 24 GB 的 GPU，来源里没有出现 API 密钥或付费服务。
• Data it reaches: 你的提示词发往你自己的辅助服务和 llama-server。构建时需要从各自的主机获取 llama.cpp 源码和模型文件。
• Not for: 独立使用，因为适配器离开主干就什么也做不了。Mac 用户请改用 MLX 版本。

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 框架：gguf
• 参数量：668M
• Weights: about 334 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：311
• 点赞：6
• 许可证：apache-2.0
• 基于：Cloudflare/clef
• 标签：gguf, clef, lora, llama.cpp, decision-model, systemone, speculative-decoding, adapter, qwen3.8, 27b, text-classification

链接

• 模型：https://huggingface.co/trevest/Clef-LoRA-for-Qwen3.8-27B-GGUF
• 文件：https://huggingface.co/trevest/Clef-LoRA-for-Qwen3.8-27B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download trevest/Clef-LoRA-for-Qwen3.8-27B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。