jevos-v4

jevos-v4

一个本地决策模型，在笔记本 CPU 上约 28 到 130 毫秒就能回答关于文本的是非、选择和打分问题，为每个答案返回概率。适合想要免费本地方案、替代云端决策 API 的开发者。

由 feder-cr 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：jevos-v4 发布为 feder-cr/jev，是一个对一段文字做决策的小模型。你发送一段文字和一个问题，问题可以是是非题、选择题或打分题，然后得到每个答案的概率。它在你自己的机器上用 CPU 运行，不需要 Python，并使用与 TypeSafe Jev 相同的 API 格式。

适合谁：需要在应用里做快速分类决策，并希望决策在本地、免费完成的开发者。

Industry | Who uses it | How they use it | Example
客户支持 | 支持团队 | 给消息分流并找出账单问题 | 这是不是账单问题
电商 | 运营团队 | 按书面政策决定是否退款 | 这位客户该不该退款
游戏 | 独立开发者 | 做游戏里的快速决策 | 一个贪吃蛇机器人选下一步
软件 | 后端开发者 | 在服务里加一个本地分类器 | 人工审核前的分流步骤

如果你需要在困难任务上达到最高准确率，可以跳过它。模型卡说在欺诈和专利任务上，云端的 Jev 更准，所以要用你自己的问题测试。

用在哪里：

• 你自己的机器，作为只用 CPU 的本地服务
• Windows、Linux 和苹果芯片的 macOS
• llama.cpp 以及基于它的工具，通过 GGUF 文件

Use case | Who | What they get back
是非题 | 开发者 | 回答是的概率
选择题 | 开发者 | 最可能的选项，以及每个选项的概率
打分题 | 开发者 | 期望的等级，标注为早期支持

如何设置：

• Python 和 pip，只用于 hf download 命令
• 适合你系统的 jev 程序，取自项目的 GitHub 发布页
• 下载到它旁边的模型文件夹

1. 从 GitHub 发布页下载适合你系统的 jev 程序。
2. 解压后，用 hf 命令下载模型文件夹。
3. 进入文件夹并启动服务。

tar -xzf jev-linux-x64.tar.gz                 # Windows: unzip jev-windows-x64.zip
hf download feder-cr/jev --include "model/*" --local-dir jev
cd jev
./jev serve                                   # Windows: jev.exe serve

如何使用：向本地服务的 systemone 路径发一个 POST 请求，带上文字和你的问题。一个请求可以包含关于同一段文字的多个问题。每个问题有类型、说明，选择题和打分题还有标准。

{
  "model": "jev-latest",
  "state": {"item": "wireless mouse", "customer_message": "The box arrived empty. This is the second time!"},
  "questions": {
    "refund": {"type": "noul", "instructions": "Our policy refunds items reported missing within 30 days of delivery. Should this customer get a refund?"},
    "team": {"type": "choice", "instructions": "Which team should handle this message?",
             "criteria": {"billing": "payments, refunds", "shipping": "deliveries, missing parcels", "tech": "a product that does not work"}},
    "anger": {"type": "score", "instructions": "How angry is the customer?", "criteria": ["calm", "annoyed", "angry", "furious"]}
  }
}

示例：你把那条箱子到货时是空的的消息和一个账单问题一起发过去。服务器会返回这个答案的概率。模型卡自己的示例里，重复扣款的概率是 0.94。

{"model": "jevos-v4", "answers": {"billing": {"type": "noul", "noul": 0.94}}, "usage": {"input_tokens": 27, "output_tokens": 0}}

新手与专家：如果你是新手，运行那三条配置命令，再发模型卡里的示例问题。先用你自己的案例检查答案，再信任它。

如果你懂这个领域，这个模型有 882M 参数，以 OpenVINO INT8 文件夹加 4-bit 和 8-bit 的 GGUF 文件发布，上下文为 8,192 个词元。选择题和打分题还会返回置信度。置信度低时，模型卡说要把这个案例交给人处理。

你的文字加问题
CPU 上的本地 jev 服务
每个答案的概率
你的应用做决定或上报

Title: 短请求的延迟中位数，单位 ms
jevos-v4: 28 ms
Laya: 129 ms
Jev 云端: 311 ms
Qwen3.5-4B: 3060 ms

注意事项：

• License: MIT
• Cost to run: 免费，用你自己的 CPU，而模型卡说云端 Jev 按词元收费
• Data it reaches: 你发给自己本地服务的文本
• Not for: 加总和计数，这些应该放在你自己的代码里
• Accuracy: 模型卡称在较难的任务上低于云端 Jev

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 框架：gguf
• 参数量：882M
• Weights: about 441 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：1,475
• 点赞：22
• 许可证：mit
• 语言：en
• 标签：gguf, openvino, llama.cpp, decision-model, yes-no, zero-shot-classification, local, on-device, text-classification, conversational

链接

• 模型：https://huggingface.co/feder-cr/jev
• 文件：https://huggingface.co/feder-cr/jev/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download feder-cr/jev

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。