Mica v0.1 4B

Mica v0.1 4B

针对给定状态下的问题，为每个允许的答案给出概率，题型可以是是非、选择或评分，不生成文字。适合给智能体和应用加入快速判断的开发者。

由 sky7350 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Mica 是一个小型的决策模型。你给它一个状态、一个问题和允许的答案，它会返回每个答案的概率。问题可以是是非题、从 2 到 255 个选项里选一个，或者是 2 到 10 个等级的评分。它只读一遍输入，不生成文字，所以一次判断只需要一次 prefill。它用英语和韩语训练。

适合谁：它适合想在智能体或应用里得到快速、带分数的判断的开发者，而不是去解析生成的文字。

行业 | 谁在用 | 怎么用 | 例子
智能体开发 | 智能体开发者 | 用是非概率给有风险的操作把关 | 询问智能体能否删除一个没人批准的预发布数据库
客户支持 | 支持工具开发者 | 从许多选项里挑出一个类别 | 把收到的工单分到某个队列
内容审核 | 审核团队 | 在 2 到 10 个等级的量表上给文本打分 | 给一条消息的礼貌程度打分
研究 | 评测研究人员 | 对本地服务器运行 JevBench 适配器 | 在你自己的 GPU 上检查公开的困难档

如果你需要能写段落或聊天的模型，可以跳过它，因为它从不生成文字。

用在哪里：

• 带 NVIDIA GPU 的机器上的 Docker
• 不用 Docker 时，用装有 CUDA 12 和 Python 3.10 或更新版本的 Linux
• 使用 TypeSafe 的 System One 请求格式的客户端，包括为 Jev 编写的客户端
• 8010 端口上的本地 HTTP 服务器

用例 | 谁用 | 得到什么
审批把关 | 智能体开发者 | 操作执行前的是非概率
选项挑选 | 应用开发者 | 最多 255 个选项里每一个的概率
评分打分 | 审核人员 | 2 到 10 级量表上每一级的概率

如何设置：

• 支持 GPU 的 Docker，或装有 CUDA 12 和 Python 3.10 或更新版本的 Linux
• 项目的代码、Dockerfile 和脚本，来自它的 GitHub 页面
• BF16 GGUF 所需的磁盘空间是 9.7 GB，也可以选更小的量化文件

1. 从项目的 GitHub 页面获取项目代码。
2. 构建 Docker 镜像。
3. 用所有 GPU 和 8010 端口运行容器。第一次启动会下载 BF16 GGUF。
4. 想少下载一点，就用 Q5_K_M 文件名传入 MICA_GGUF 环境变量。
5. 镜像针对 CUDA 架构 86、89 和 90 构建。传入 CUDA_ARCH 构建参数可以修改。

docker build -t mica-v0.1-4b .
docker run --gpus all -p 8010:8010 -v mica-weights:/weights mica-v0.1-4b

不用 Docker 时，在 Linux 上使用这些命令。

pip install -r requirements.txt
bash scripts/build_runtime.sh            # builds llama.cpp b11010 into ./runtime (CUDA_ARCH=86 by default)
hf download sky7350/Mica-v0.1-4B mica-v0.1-4b-BF16.gguf tokenizer.json tokenizer_config.json chat_template.jinja config.json \
   --revision ca36594cc2067c7252704f9f304cc10ef11c7c5c --local-dir weights
bash scripts/serve.sh

如何使用：服务器在 8010 端口运行后，向它的 v1 systemone 路径发送 POST 请求。请求体里有一个纯文本写成的 state 和一个 questions 映射。每个问题都有 type 和 instructions。类型 noul 表示是非题。超过 8,192 个词元的输入会返回 HTTP 400 错误，而不会被截断。

{
  "state": "The user asked to delete the staging database. No approval has been given.",
  "questions": {"q": {"type": "noul", "instructions": "Should the agent delete it now?"}}}

工具 | 作用
noul | 是非题的问题类型
scripts/build_runtime.sh | 把 llama.cpp 构建到 runtime 文件夹
scripts/serve.sh | 启动本地服务器
MICA_GGUF | 在容器启动时选用更小的 GGUF 文件

示例：你发送一个状态，说有用户要求删除预发布数据库，但没有人批准。问题问智能体现在是否该删除它。回复里有每个答案的概率。模型卡没有给出具体数字。

新手与专家：决策模型给你的是可能性，而不是句子。你描述一个情境，提一个问题，然后读每个答案有多大可能。第一次可以先启动 Docker 容器，再发送上面的请求。

从底层看，它是 Qwen3.5-4B 加上覆盖全部 32 层、已合并的 16 秩 LoRA。权重有 BF16 safetensors，也有 BF16、Q8_0、Q6_K、Q5_K_M、Q4_K_M 和 Q4_0 的 GGUF。在 RTX 3090 上用 BF16 GGUF、一次只处理一个请求时，模型卡报告的延迟中位数是 54 毫秒，p95 是 552 毫秒。

状态、问题和允许的答案
一次 prefill 计算
每个答案的概率
由本地服务器返回

注意事项：

Title: 公开集上 JevBench 困难档的准确率
Mica: 69.5 %
JEV 1.13: 74.3 %
Qwen3.5-4B: 61.0 %
JevK5 4B: 76.2 %
Kev 4B: 52.4 %
Nimble 9B: 23.8 %
Laya: 10.5 %

• 通过 llama.cpp 服务器和 JevBench 的运行器，困难档得分是 64.9，而不是 69.5。简单档和原始档的得分相同。
• 在模型卡里的其他几个测试集上，比如 MMLU-Pro，Mica 的得分低于 JEV 1.13。
• 模型卡说训练中没有使用任何 JevBench 题目，并且用 231 道公开题目检查过 77,732 行训练数据。
• License: Apache 2.0
• Cost to run: 未提到，不过模型卡的部署需要 NVIDIA GPU
• Data it reaches: 你发给自己本地服务器的文本，第一次启动 Docker 时会下载权重
• Not for: 写文字，以及超过 8,192 个词元的输入

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 框架：transformers
• 参数量：4.2B
• Weights: about 8.4 GB in BF16; about 2.1 GB at 4-bit (estimate)
• Formats: Safetensors, GGUF
• 最近 30 天下载：3,436
• 点赞：52
• 许可证：apache-2.0
• 语言：en, ko
• 基于：Qwen/Qwen3.5-4B
• Quantized versions: 2
• Fine-tunes: 1
• 标签：transformers, safetensors, gguf, qwen3_5_text, text-generation, decision-model, classification, judge, typesafe, jevbench, text-classification, conversational

链接

• 模型：https://huggingface.co/sky7350/Mica-v0.1-4B
• 文件：https://huggingface.co/sky7350/Mica-v0.1-4B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download sky7350/Mica-v0.1-4B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。