Kev-4B

Kev-4B

读取一份文档和带类型的问题，一次计算就为每个答案选项返回校准过的概率，不生成文字。这是基于 Qwen3.5-4B 的决策模型，适合需要给文档分流、分诊或检查的开发者。

由 jaredpalmer 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Kev-4B 是一个决策模型，不是聊天模型。你给它一份文档和几个带类型的问题，它一次计算就能为每个问题的选项打分。这些概率是经过校准的，所以你可以设一个阈值，把拿不准的情况交给人来处理。

适合谁：适合在软件里对文档做归类、分流或把关，并且想要一个可以设阈值的分数的开发者。一块中档 GPU 就足以托管它。文件采用 Apache 2.0 许可证。

Industry | Who uses it | How they use it | Example
客户支持 | 支持工程师 | 按主题和紧急程度分流收到的消息 | 把重复扣款的投诉送到账单组
运营 | 工作流构建者 | 把有把握的情况自动化，其余的排队等人审核 | 只有信心高于设定值时才自动批准请求
合规 | 政策团队 | 对照既定规则或标准检查文档 | 检查一份申请是否符合资格规则
AI 工程 | 开发者 | 对照标准评判一个给出的回答 | 给一份草稿回复打分，判断是否合格

如果你想要写文字、聊天或摘要，可以跳过它，因为这个模型只给你提供的选项打分。

用在哪里：

• 有约 16 GB 可用显存的 CUDA GPU，或通过 MLX 运行它的 Apple Silicon Mac
• 针对你自己的服务器调用 TypeSafe SDK 的 Python 程序
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
文档分类 | 开发者 | 每个命名类别的概率
分流和分诊 | 运营团队 | 最可能的去向和一个置信值
政策检查 | 合规团队 | 一个是非问题答案为是的可能性

如何设置：

• Python 和 huggingface_hub 软件包，用来下载文件
• 来自 GitHub 的 Kev 仓库，以及 uv 工具
• 有约 16 GB 可用显存的 CUDA GPU，或 Apple Silicon Mac

1. 用下面的命令下载模型文件。
2. 从 GitHub 克隆 Kev 仓库，并用 uv 安装它的 serve 扩展。
3. 用下一部分里的两条 serve 命令之一启动服务器。
4. 让 TypeSafe SDK 指向你的服务器。

pip install -U huggingface_hub
hf download jaredpalmer/kev-4b

如何使用：模型卡用 Kev 仓库在 8008 端口上部署模型。之后你的代码通过 TypeSafe SDK 发送一个状态和若干问题。下面第一条命令跟随主分支，第二条固定同样的权重。

uv run --extra serve python -m kev.serve --run jaredpalmer/kev-4b --port 8008           # Kev 1.0 (this card)
uv run --extra serve python -m kev.serve --run jaredpalmer/kev-4b@v1.0 --port 8008      # the same weights, pinned

Tool | What it does
choice | 为 1 到 255 个命名选项打分，并选出最可能的一个
score | 为 1 到 255 个有序等级打分，并给出期望等级
noul | 回答是非问题，给出答案为是的可能性
kev.train | 用你自己的标注，在已发布权重的基础上微调

示例：你发送一条关于重复扣款的客服消息，加上一个选项为 billing、shipping 和 other 的选择题。你会得到每个选项的概率，所以最高分偏低的时候可以交给人处理。

新手与专家：这是一个还会告诉你它有多确定的分类器。一个好的起步是启动服务器，对一小段文字问一个是非问题。

在底层，这个模型是一个秩为 16 的 LoRA 适配器，加上一个挂在冻结的 Qwen3.5-4B-Base 上的指针头。每个选项的收尾 token 会和问题的最后一个 token 对比打分，再用 softmax 得到概率。一个温度参数 2.41 负责校准。各个问题作为独立的行运行，所以它们不会互相影响。

发送文档和带类型的问题
只计算一次文档状态
每个问题在自己的行里打分
指针头给出概率
有把握的就行动，其余的排队

注意事项：

• License: Apache 2.0
• Cost to run: 未提及，但你需要 GPU 或 Apple Silicon Mac
• Data it reaches: 下载时从 Hugging Face 获取文件，你的文档会发到你自己启动的服务器
• 语言：只支持英语
• Not for: 写文字、聊天或摘要，以及会给人带来法律、医疗或财务影响的全自动决定
• 验证过的上下文是 8,192 个 token，更长的文档可能表现更差

Title: 上下文长度，单位 token
Served states, up to: 65536 tokens
Validated length: 8192 tokens
Longest training state: 7552 tokens

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 框架：peft
• Formats: Safetensors
• 最近 30 天下载：12,499
• 点赞：175
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen3.5-4B-Base
• Quantized versions: 14
• Fine-tunes: 2
• 标签：peft, safetensors, decision-model, calibration, lora, multiple-choice, typesafe, qwen3.5, text-classification, model-index

链接

• 模型：https://huggingface.co/jaredpalmer/kev-4b
• 文件：https://huggingface.co/jaredpalmer/kev-4b/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download jaredpalmer/kev-4b

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。