Raptor-0.6-4B-JANG_6M

Raptor-0.6-4B-JANG_6M

能判断什么时候调用工具、什么时候直接回答、什么时候先问一句，由 4B 模型微调并量化，适用于运行 Osaurus 的 Apple Silicon Mac。适合在本地运行助手的人。

由 OsaurusAI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Raptor 0.6 是 OsaurusAI 推出的文本生成模型。团队在 4B 基础模型 XHToken/Spark-X2.5-4B 之上继续训练它，用于 Osaurus 应用。训练内容包括：在调用工具和直接回答之间做选择，挑选合适的工具，出错后恢复，向用户提问，以及把工作交给子智能体。按模型卡的说法，这个 JANG_6M 包是混合精度量化，磁盘占用 3.41 GiB。

适合谁：如果你有 Apple Silicon Mac，想要一个能在 Osaurus 里处理工具调用的小型本地模型，或者你是研究这类模型如何调校和测量的开发者，它适合你。

Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 把小型本地模型当作助手里的决策者 | 在直接回答和调用工具之间做选择
效率 | 用本地助手的 Mac 用户 | 让 Osaurus 在自己的机器上处理日常请求 | 让助手安排日程或查找某样东西
研究 | 量化研究人员 | 研究 4B 模型的校准混合精度量化 | 对照 bf16 权重阅读 KL 和 top-1 一致率的数据

如果你不用 Osaurus，也没有 Apple Silicon Mac，可以跳过它，因为模型卡说标准的 mlx-lm 跑不了这个架构。

用在哪里：

• Apple Silicon Mac 上的 Osaurus 应用，它自带这个模型需要的 MLX 运行时
• 装有 Python 的 Windows、macOS 或 Linux，只用来下载文件

Use case | Who | What they get back
用不用工具 | 助手用户 | 一个直接回答，或者对正确工具的调用
从错误中恢复 | 应用开发者 | 调用失败后的重试或换一种做法
委派工作 | 智能体开发者 | 交给子智能体的工作

如何设置：

• 装有 Osaurus 应用的 Apple Silicon Mac
• Python 和 pip，用来手动获取文件
• 约 3.41 GiB 的磁盘空间，这是模型卡给出的数字

1. 安装 Hugging Face hub 包。
2. 把模型文件下载到你的电脑。
3. 打开模型卡，按其中的步骤在 Osaurus 里加载模型。

pip install -U huggingface_hub
hf download OsaurusAI/Raptor-0.6-4B-JANG_6M

如何使用：在 Osaurus 里选好这个模型，像平时一样聊天，推理可以开也可以关。这次调校覆盖了两种模式，分词器和聊天模板与基础模型相同。仓库的 osaurus.json 文件里带有版本标记 2，Osaurus 可以据此提示你本地副本是旧版本。

Tool | What it does
huggingface_hub | Hugging Face 的下载包
hf download | 把模型文件复制到你的电脑

示例：你让助手清理某个文件夹里的旧文件。模型卡把执行破坏性操作前先确认列入了训练主题，所以这正是模型被调校过的那类情形，你可以预期它会先问一句。

新手与专家：这是一个小模型，学会了判断一个请求是需要工具，还是直接回答就够了。想试一试，先用上面两条命令下载文件，然后在 Mac 上的 Osaurus 里选这个模型。

第二版是一次 LoRA 微调，秩为 16，alpha 为 32，作用于注意力层和 MLP 层，180 个矩阵被合并回权重。训练集约有 3.5k 条决策，其中包括基础模型本来就答对的回复。注意力层和绑定的嵌入层按 8 位存储，MLP 按 6 位存储，每 64 个权重一组，平均每个权重 7.126 位。归一化层和每个注意力头的门控保持全精度。校准让 KL 在体积不变的情况下降低约 2.6 到 2.9 倍。在 M5 Max 上，模型卡报告的解码速度为每秒 105.4 个 token，预填充为 5042。

基础模型 Spark-X2.5-4B
针对工具决策做 LoRA 微调
校准的混合精度量化
通过 Osaurus 在 Apple Silicon 上运行

注意事项：模型卡在两个留出集上，对照模型自己的 bf16 权重测量了量化效果，KL 越低越好。

Title: 对照 bf16 权重的平均 KL，越低越好
工具对话，这个包: 0.0140 nats
工具对话，未校准取整: 0.0402 nats
混合提示词，这个包: 0.0102 nats
混合提示词，未校准取整: 0.0268 nats

• License: Apache 2.0
• Cost to run: 没有提到 API 密钥或付费服务，但需要 Osaurus 应用和一台 Mac，来源没有给出 Osaurus 的价格
• Data it reaches: 来源没有提到除了从 Hugging Face 下载权重之外的文件、账号或联网访问
• Not for: 标准的 mlx-lm，因为它没有 spark2_5 架构，也不适合旧的 Raptor v0.5 系列，它们的运行时假设不能沿用

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：mlx
• 参数量：4.1B
• Weights: about 16.4 GB in U32
• Formats: Safetensors
• 最近 30 天下载：1,032
• 点赞：7
• 许可证：apache-2.0
• 语言：en, zh
• 基于：XHToken/Spark-X2.5-4B
• 标签：safetensors, spark2_5, jang, quantized, apple-silicon, reasoning, agent, tool-use, imatrix, gptq, text-generation, conversational

链接

• 模型：https://huggingface.co/OsaurusAI/Raptor-0.6-4B-JANG_6M
• 文件：https://huggingface.co/OsaurusAI/Raptor-0.6-4B-JANG_6M/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download OsaurusAI/Raptor-0.6-4B-JANG_6M

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。