Kev-4B

Kev-4B

通过 llama 服务的 /v1/systemone API 做决策，来自一个 4.2B 模型的 GGUF 副本。适合想要小型本地决策模型的开发者。

由 ggml-org 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Kev-4B 是 ggml-org 制作的一个 4.2B 文本分类模型的 GGUF 副本。模型卡称它是决策模型，通过 /v1/systemone API 使用。它由 jaredpalmer/kev-4b 自动转换而来，后者基于 Qwen3.5-4B-Base。

适合谁：它适合想要一个做决策、而不是写自由文本的小型本地模型的开发者。模型卡给出的其他细节很少。

Title: 谁在用
Industry | Who uses it | How they use it | Example
软件 | 开发者 | 通过 systemone API 调用本地决策模型 | 应用里的一个路由步骤
研究 | 测试 llama 工具的研究者 | 试用本地提供服务的决策模型 | 检查这个端点的行为
IT | 把数据留在内部的团队 | 在自己的硬件上运行分类器 | 内部分诊助手

如果你需要能写长回答的聊天模型，可以跳过它。

用在哪里：

• Llama 应用
• Windows、macOS 或 Linux 终端里的 llama 命令
• 同样机器上的 Python，用于手动下载文件

Title: 它能做的事
Use case | Who | What they get back
通过 API 做决策 | 开发者 | /v1/systemone 端点返回的结果
文本分类 | 研究者 | 一段文本的标签

如何设置：

• Llama 应用或 llama 命令
• Python，只有在手动下载文件时才需要

1. 安装 Llama 应用或 llama 命令。
2. 运行下面的 serve 命令。它会按 Hugging Face 上的名字取回模型。
3. 如果愿意，也可以用 Hugging Face 工具手动下载文件。

llama serve -hf ggml-org/Kev-4B-GGUF

pip install -U huggingface_hub
hf download ggml-org/Kev-4B-GGUF

如何使用：
用 serve 命令启动服务，然后通过 /v1/systemone API 调用它，模型卡把这个接口列为使用这个模型的方式。模型卡没有给出请求格式，请查看 llama 工具。

llama serve -hf ggml-org/Kev-4B-GGUF

示例：
你用 serve 命令启动服务，并向 /v1/systemone 端点发送请求。模型卡没有给出示例请求或回复，所以回答的格式来自你使用的 llama 工具。

新手与专家：
如果你是新手，决策模型是从一组选项里挑出答案，而不是写一段话。第一件小事是运行上面的 serve 命令。

如果你懂这个领域，这是一个 4.2B 模型，按 Hugging Face 的估计 4 位量化时约 2.1 GB，上游来源之一是 Qwen3.5-4B-Base。模型卡没有给出基准、标签集或请求格式，所以把它当作转换后的检查点，自己动手测试。

用模型名运行 llama serve
文件来自 Hugging Face
服务在你的机器上启动
调用 /v1/systemone 端点

注意事项：

• 转换：这个副本是 ggml-org 的自动工具从源模型转出来的。
• 来源：jaredpalmer/kev-4b 和 Qwen3.5-4B-Base。
• 细节：除了端点名称，模型卡没有分数或使用说明。
• License：apache-2.0。
• Cost to run：没有提到 API 密钥、账号或付费服务。
• Data it reaches：你从 Hugging Face 下载模型，模型卡没有提到别的访问。

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 参数量：4.2B
• Weights: about 2.1 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：39,531
• 点赞：34
• 许可证：apache-2.0
• 基于：jaredpalmer/kev-4b
• 标签：gguf, quantized, decision-model, text-classification, conversational

链接

• 模型：https://huggingface.co/ggml-org/Kev-4B-GGUF
• 文件：https://huggingface.co/ggml-org/Kev-4B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ggml-org/Kev-4B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。