Mica-v0.5-4B

Mica-v0.5-4B

基于 Qwen3.5-4B 的 4B 分类模型，读取输入后为每个允许的答案给出概率，适用于护栏、路由、分流和智能体闸门。适合想在不用大模型的情况下做是非或标签判断的开发者。

由 sky7350 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Mica v0.5 4B 是基于 Qwen3.5-4B 构建的紧凑分类器。针对你的输入提出的每个问题，它都会为你提供的每个答案选项打出一个概率。你给它一份最多 32k token 的日志、追踪、文档或 JSON，再加上问题和允许的答案。它的输出只有概率，所以不需要解析文本，每个结果都对应你设定的一个选项。

适合谁：只是为了得到是非或标签才去调用大模型的开发者，他们想用一个小而快的分类器来替代。

行业 | 谁在用 | 怎么用 | 例子
AI 工程 | 运行护栏的团队 | 对照允许的答案检查请求 | 判断一条消息能否放行
检索 | RAG 开发者 | 检查检索到的文本是否回答了问题 | 给检索到的段落打分，判断是否相关
智能体系统 | 智能体开发者 | 用小的选择题给每一步把关 | 从选项列表里选出下一步动作
运维 | 分流和路由团队 | 按标签路由条目 | 给收到的日志或工单打标签

如果你需要自由文本的回答，可以跳过它，因为它只返回你提供的选项的概率。

用在哪里：

• 一块消费级 GPU，用 GGUF 文件配合 llama.cpp
• 装有 transformers 库的 Python，使用 safetensors 文件
• 护栏、RAG 检查、智能体闸门、路由、分流和评估

用途 | 适合谁 | 得到什么
护栏检查 | 安全团队 | 每个允许结论的概率
给结果打分 | 评估人员 | 从 2 到 255 级的量表里得到一个等级
在选项间做选择 | 智能体开发者 | 最多 255 个选项里每个选项的概率

如何设置：你需要 Python 和一台带一块消费级 GPU 的机器。模型提供 safetensors 和 GGUF 两种格式，BF16 下约 9.3 GB，4 位下估计约 2.3 GB。这里用到的文本里模型卡的快速开始被截断了，请在模型页面上照着它做。

• Python 和 pip
• 一块消费级 GPU，以及存放文件的磁盘空间
• 项目的 GitHub 仓库，里面有请求格式和示例

1. 下载模型文件。
2. 根据你的环境选择 safetensors 或 GGUF 文件。
3. 按模型页面上的快速开始操作。

pip install -U huggingface_hub
hf download sky7350/Mica-v0.5-4B

如何使用：每个请求都打包了要判断的材料、你的问题和你允许的答案。模型只读一遍输入，然后为每个允许的答案返回概率。如果想让它标出拿不准的情况，就设置 abstain_threshold。

设置 | 作用
允许的答案 | 每个问题 2 到 255 个选项
输入 | 最多 32k token 的文本、JSON、日志或追踪
abstain_threshold | 对拿不准的情况标记出来，而不是瞎猜

示例：在模型卡的 Minecraft 演示里，玩家请游戏内助手给一些食物和一块下界合金锭。Mica 把这个请求拆成一连串小的选择题，比如数量多少、选哪一个。它为每个选项返回概率，演示在每一步旁边都显示出来。

新手与专家：如果你是新手，可以把它看作一个快速的评判者。你给它一段文字和一份固定的答案列表，它告诉你每个答案的可能性。第一个小任务可以是对一份短文档做是非检查。

对专家来说，对输入做一次遍历就得到校准过的分布，不生成任何 token。模型卡称打乱选项顺序后，它仍有 97.3% 的情况给出同样的选择。分数来自作者自己在相同题目上的运行，模型卡还提醒它的柱状图不是从零开始的。

输入文本或 JSON
问题和允许的答案
Mica 读一遍输入
每个答案的概率

注意事项：

Title: 作者自己运行得到的 JDI 0.3 分数
PPLX Decider Flash: 60.1
Jev: 59.1
Mica v0.5: 58.8
CoCo Decision: 55.4
MS Decision-1: 54.7
Clef: 53.0
Kev: 39.1
Mica v0.1: 37.2

• Languages: 英文、韩文和中文，还提到更多
• Output: 只有概率，从不输出自由文本
• Benchmarks: 数字来自作者自己的运行，请结合你的任务核实
• License: Apache 2.0
• Cost to run: 没有提到 API 密钥或付费服务
• Data it reaches: 从 Hugging Face 下载文件，你给它的输入留在你自己的进程里
• Not for: 自由文本回答或写作

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 参数量：4.7B
• Weights: about 9.3 GB in BF16; about 2.3 GB at 4-bit (estimate)
• Formats: Safetensors, GGUF
• 最近 30 天下载：6,375
• 点赞：47
• 许可证：apache-2.0
• 语言：en, ko, zh
• 基于：Qwen/Qwen3.5-4B
• Quantized versions: 1
• Fine-tunes: 1
• 标签：safetensors, gguf, qwen3_5, decision-model, decision, judge, llm-as-a-judge, classifier, guardrails, agents, calibration, llama.cpp

链接

• 模型：https://huggingface.co/sky7350/Mica-v0.5-4B
• 文件：https://huggingface.co/sky7350/Mica-v0.5-4B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download sky7350/Mica-v0.5-4B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。