DeepSeek-R1-GGUF
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
针对文本、网页和截图回答带类型的决策,一次前向计算,根据你自己的标签给出选项、是非概率或分数。适合构建分流、审核和浏览器智能体的团队。
OpenJev 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download openjev/openjev
OpenJev 是一个开放权重的决策模型,有 27.4B 参数。你在发送请求时用平实的话和你自己的标签描述一个决策,它会回复一个选项、一个是或否的概率,或者一个分数。每个问题只需一次前向计算,最多可给 52 个选项,所以没有自由文本需要解析。
它适合需要在产品里做快速、结构化判断的开发者,比如给工单分类、检查内容或指引浏览器智能体。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 客户支持 | 支持工程师 | 按主题、团队和优先级给工单分流 | 在账单、物流和技术之间选择 |
| 信任与安全 | 审核团队 | 标出垃圾信息、仇恨内容或违反政策的内容 | 给一条消息的毒性打分 |
| AI 评估 | 评估工程师 | 判断另一个模型的回答有没有依据 | 把一个回答标为有依据或编造 |
| 浏览器智能体 | 智能体开发者 | 根据页面选择下一个元素或操作 | 决定接下来按哪个按钮 |
如果你想要书面回答,可以跳过它,因为它返回的是分数,不是自由文本。
| 用例 | 谁用 | 得到什么 |
|---|---|---|
| 路由和分诊 | 支持团队 | 带概率的团队或优先级选择 |
| 内容审核 | 安全团队 | 违规标签的概率 |
| 智能体步骤 | 智能体开发者 | 该操作哪个元素,以及任务是否完成 |
| 打分 | 分析师 | 带置信度的有序等级 |
你需要 Python 来使用下载工具,还需要一台 GPU 服务器来放 54.7 GB 的 BF16 权重。
pip install -U huggingface_hub hf download openjev/openjev
你发送一个请求,里面包含情境和几个带类型的问题。模型卡的示例针对一条客户消息问了三个问题。每个答案都会带着每个选项的概率返回。
{
"model": "openjev",
"state": "Customer message: I was charged twice for my order last week and nobody has replied.",
"questions": {
"route": {"type": "choice", "instructions": "Which team should handle this?",
"criteria": {"billing": null, "shipping": null, "technical": null}},
"angry": {"type": "noul", "instructions": "Is the customer angry?"},
"urgency": {"type": "score", "instructions": "How urgent is this?",
"criteria": ["can wait", "this week", "today", "right now"]}
}
}| 工具 | 作用 |
|---|---|
| choice | 在你标注的选项中选一个,并给出每个选项的概率 |
| noul | 回答是非问题,给出答案为是的概率 |
| score | 在你从低到高列出的有序等级上评分 |
你发送重复扣款的消息,并附上路由、生气和紧急程度三个问题。回复里有每个团队的概率、客户是否生气的概率,以及每个紧急程度等级的概率。
如果你刚接触这类模型,可以把它想成一份你随手编写的选择题表单。第一次可以试上面的三问请求,再读它返回的概率。
对熟悉这个领域的人来说,模型从不把答案写出来。它在第一个输出步骤里为每个选项取一个分数,再用预设的校准值把分数转成概率。模型卡报告,重新排列选项会让 2.3% 的答案翻转,未调优的基础模型则是 18.5%。
在一张 H100 上,简短文本问题约 80 ms,含 23 个候选元素的网页约 210 ms。测试由作者自己运行,而且部分题目在开发期间用过。
针对文本、网页和截图回答带类型的决策,一次前向计算,根据你自己的标签给出选项、是非概率或分数。适合构建分流、审核和浏览器智能体的团队。
由 openjev 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:OpenJev 是一个开放权重的决策模型,有 27.4B 参数。你在发送请求时用平实的话和你自己的标签描述一个决策,它会回复一个选项、一个是或否的概率,或者一个分数。每个问题只需一次前向计算,最多可给 52 个选项,所以没有自由文本需要解析。
适合谁:它适合需要在产品里做快速、结构化判断的开发者,比如给工单分类、检查内容或指引浏览器智能体。
行业 | 谁在用 | 怎么用 | 例子
客户支持 | 支持工程师 | 按主题、团队和优先级给工单分流 | 在账单、物流和技术之间选择
信任与安全 | 审核团队 | 标出垃圾信息、仇恨内容或违反政策的内容 | 给一条消息的毒性打分
AI 评估 | 评估工程师 | 判断另一个模型的回答有没有依据 | 把一个回答标为有依据或编造
浏览器智能体 | 智能体开发者 | 根据页面选择下一个元素或操作 | 决定接下来按哪个按钮
如果你想要书面回答,可以跳过它,因为它返回的是分数,不是自由文本。
用在哪里:
用例 | 谁用 | 得到什么
路由和分诊 | 支持团队 | 带概率的团队或优先级选择
内容审核 | 安全团队 | 违规标签的概率
智能体步骤 | 智能体开发者 | 该操作哪个元素,以及任务是否完成
打分 | 分析师 | 带置信度的有序等级
如何设置:你需要 Python 来使用下载工具,还需要一台 GPU 服务器来放 54.7 GB 的 BF16 权重。
pip install -U huggingface_hub
hf download openjev/openjev
如何使用:你发送一个请求,里面包含情境和几个带类型的问题。模型卡的示例针对一条客户消息问了三个问题。每个答案都会带着每个选项的概率返回。
{
"model": "openjev",
"state": "Customer message: I was charged twice for my order last week and nobody has replied.",
"questions": {
"route": {"type": "choice", "instructions": "Which team should handle this?",
"criteria": {"billing": null, "shipping": null, "technical": null}},
"angry": {"type": "noul", "instructions": "Is the customer angry?"},
"urgency": {"type": "score", "instructions": "How urgent is this?",
"criteria": ["can wait", "this week", "today", "right now"]}
}
}
工具 | 作用
choice | 在你标注的选项中选一个,并给出每个选项的概率
noul | 回答是非问题,给出答案为是的概率
score | 在你从低到高列出的有序等级上评分
示例:你发送重复扣款的消息,并附上路由、生气和紧急程度三个问题。回复里有每个团队的概率、客户是否生气的概率,以及每个紧急程度等级的概率。
新手与专家:如果你刚接触这类模型,可以把它想成一份你随手编写的选择题表单。第一次可以试上面的三问请求,再读它返回的概率。
对熟悉这个领域的人来说,模型从不把答案写出来。它在第一个输出步骤里为每个选项取一个分数,再用预设的校准值把分数转成概率。模型卡报告,重新排列选项会让 2.3% 的答案翻转,未调优的基础模型则是 18.5%。
Title: 10,000 个文本决策问题上的准确率
Jev hosted API: 85.4%
OpenJev: 84.0%
Base model before tuning: 80.4%
Nimble 9B: 75.7%
你发送情境和带类型的问题
每个问题各跑一次前向计算
读取第一个输出位置的分数
你得到每个选项的概率
注意事项:在一张 H100 上,简短文本问题约 80 ms,含 23 个候选元素的网页约 210 ms。测试由作者自己运行,而且部分题目在开发期间用过。
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download openjev/openjev
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| OpenJev 本页 | 9,293 | 199 | 27.4B | cc-by-nc-4.0 | |
| THX-02共有 calibrated-probabilities · zero-shot-classification · classification | 6,598 | 54 | 4.5B | apache-2.0 | |
| Seb-9B-v2共有 calibrated-probabilities · classification · decision-model | 265 | 4 | 9.7B | apache-2.0 | |
| ARC 1.0共有 agents · vllm · decision-model | 37 | 23 | 615M | apache-2.0 | |
| d3-flash共有 zero-shot-classification · classification · decision-model | 103,577 | 114 | 8.4B | apache-2.0 | |
| d3-mini共有 zero-shot-classification · classification · decision-model | 53,115 | 75 | 4.5B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
prithivMLmods · 工具包
提供 Axion-1.0-35B 的 GGUF 文件,这是一个有约 30 亿激活参数的 35B 混合专家模型,面向科学推理、信息查找和工具使用。适合配合 llama.cpp 在本地使用。
Phips · 工具包
用一个超分辨率网络放大低分辨率图像,可以在一块消费级 GPU 上训练,并导出为 ONNX。适合训练或运行图像放大模型的人。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。