BotPsy-0.8B-GGUFs

BotPsy-0.8B-GGUFs

0.8B 工具调用模型 BotPsy 的 GGUF 版本，提供 BF16、Q8_0 和 Q4_K_M 三种文件，用 llama.cpp 在你自己的设备上完整运行智能体和函数调用任务。

由 qvac 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库提供 BotPsy-0.8B 的 GGUF 版本。BotPsy-0.8B 是一个小模型，专为函数调用和智能体工作流设计，基于 Qwen3.5-0.8B 构建。GGUF 格式让你可以用 llama.cpp 或 QVAC SDK 完全在自己的设备上运行它。仓库提供三个文件，大小和精度各不相同。

适合谁：想要一个能在本地运行的小型工具调用模型的开发者会觉得合适，包括不能把提示词发给托管服务的团队。它最适合难度较低的任务。

行业 | 谁在用 | 怎么用 | 例子
软件 | 智能体开发者 | 运行一个本地模型，由它决定调用哪个工具 | 不用托管 API 就做出智能体原型
边缘设备 | 嵌入式开发者 | 把模型塞进很紧的内存预算 | 在小型机器上使用最小的文件
注重隐私的团队 | 工程师 | 让提示词和工具调用留在自己的硬件上 | 给内部工具做的设备端助手
研究 | 机器学习学生 | 比较同一个小模型的不同量化等级 | 看看 Q4_K_M 相比 BF16 得分如何

如果你需要在难题上取得很强的结果，可以跳过它，因为模型卡说它适合低到中等难度的任务。

用在哪里：

• llama.cpp，模型卡指明用它运行这些文件
• QVAC SDK，同样被指明用于设备端运行
• Windows、macOS 或 Linux，用 Python 下载文件

用途 | 适合谁 | 得到什么
工具调用 | 智能体开发者 | 对你所描述的某个工具的调用
设备端对话 | 应用开发者 | 不用服务器就能生成的文字回答
量化测试 | 研究者 | 可以在三种文件大小之间对比的分数

如何设置：下载需要带 pip 的 Python，运行这些文件需要 llama.cpp 或 QVAC SDK。三个文件的大小从约 0.53 GB 到 1.52 GB。

• Python 和 pip，在 Windows、macOS 或 Linux 上
• llama.cpp 或 QVAC SDK
• 放得下你所选文件的内存，从 0.53 GB 到 1.52 GB

1. 安装 Hugging Face 的 hub 软件包。
2. 下载仓库里的文件。
3. 在 llama.cpp 或 QVAC SDK 里加载其中一个 GGUF 文件。

pip install -U huggingface_hub
hf download qvac/BotPsy-0.8B-GGUFs

文件 | 大小 | 用途
BF16 | 1.52 GB | 未量化，张量与源模型相同
Q8_0 | 0.81 GB | 模型卡推荐的选择，得分和 BF16 相当，大小约为一半
Q4_K_M | 0.53 GB | 最小的文件，适合内存紧张的情况，带有重要性矩阵校准

如何使用：让 llama.cpp 指向你选好的文件，比如通过它的 llama-server。模型卡自己的测试在思考模式下运行，temperature 为 0.3。来源没有给出运行命令，具体调用方式请看模型页面。

示例：你描述一个天气查询工具，然后问某个城市的天气。模型会回复一个对该工具的调用，由你的代码去执行。你把结果送回去，它再写出最终回答。

新手与专家：GGUF 是一种让模型在你自己电脑上运行的文件格式。一个稳妥的第一步是 Q8_0 文件，模型卡推荐它。它小到大多数机器都能放下。

模型卡把每个文件和通过 vLLM 运行的 BF16 源模型做了对比，用了十项基准测试和相同的采样设置。Q4_K_M 使用重要性矩阵校准，把它与 BF16 的差异从 0.048 降到 0.036，而 Q8_0 只有 0.001。基础模型的多 token 预测层没有包含在内。作为小模型，它仍然会出错。

你下载一个 GGUF 文件
llama.cpp 或 QVAC SDK 加载它
你的应用发送任务和工具描述
模型直接回答或调用工具

Title: 模型卡报告的 10 项基准测试平均分
BF16 on vLLM: 50.6 points
BF16 GGUF: 50.4 points
Q8_0: 50.7 points
Q4_K_M: 48.9 points

注意事项：

• License：Apache 2.0，以 Hugging Face 上列出的为准
• Cost to run：没有提到
• Data it reaches：模型卡描述的是完全在设备端使用，来源没有提到网络、账号或剪贴板访问
• 推荐使用英语
• Not for：难题，因为模型卡说它适合低到中等难度的任务
• 据模型卡，由 Tether AI Research 开发

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：752M
• Weights: about 376 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：827
• 点赞：17
• 许可证：apache-2.0
• 语言：en
• 基于：qvac/BotPsy-0.8B
• 标签：gguf, tool-calling, function-calling, agent, agentic, on-device, edge, smartphone, qwen3_5, tether-ai, qvac, quantized

链接

• 模型：https://huggingface.co/qvac/BotPsy-0.8B-GGUFs
• 文件：https://huggingface.co/qvac/BotPsy-0.8B-GGUFs/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download qvac/BotPsy-0.8B-GGUFs

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。