askmdb-9b-GGUF

askmdb-9b-GGUF

根据西班牙语或英语的日常提问，写出只读的 MongoDB 聚合管道。这是 Qwen3.5-9B 微调版的 GGUF 副本，可用 llama.cpp 在本地运行，适合想用日常语言查询数据的开发者。

由 manuelgscom 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：askmdb-9b 是一个 90 亿参数的模型，用来写 MongoDB 查询。你用西班牙语或英语提问，它回复一个小的 JSON 对象，里面是一条只读的聚合管道。它是把 LoRA 微调合并进权重的 Qwen3.5-9B，这里打包成适用于 llama.cpp 的 Q4_K_M GGUF 文件。你在提示词里贴上一段简短的集合和字段概述，它就能处理没见过的数据库。

适合谁：想用日常语言查询 MongoDB 数据库、不想手写管道的开发者、分析师和客服人员，也适合喜欢在自己机器上运行模型的人。它是 askmdb 四种尺寸里最大的一个，面向显卡使用。

Industry | Who uses it | How they use it | Example
软件 | 后端开发者 | 根据提问起草聚合管道 | 询问每位客户最新的订单
数据 | 分析师 | 用西班牙语或英语直接查询 MongoDB 集合 | 按月统计注册人数
客服 | 客服工程师 | 不用学管道语法就能查找记录 | 找出某个账户所有未关闭的工单
教育 | 数据库专业的学生 | 对照提问和它生成的管道 | 阅读分组阶段是怎么构建的

如果你不用 MongoDB，可以跳过它。如果你的显卡空闲显存不足 8 GiB，更小的 askmdb 尺寸更适合你，因为命令行工具只在显存高于这条线时才提供这一个。

用在哪里：

• askmdb 命令行工具，它通过 llama.cpp 和 Vulkan 在显卡上运行
• llama.cpp 的 llama-server，可用于任何其他应用，CPU 或 GPU 都行
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
日常语言提问 | 开发者 | 一个 JSON 回答，含一条只读管道和简短说明
在 askmdb 中受检查的查询 | 分析师 | 只有只读管道才会运行，自动模式下连接操作会先问你
你自己的应用 | 集成开发者 | 来自本地 llama-server 端点的管道

如何设置：

• Python，用来安装 Hugging Face 客户端
• llama.cpp 或 askmdb 工具，用来运行这个文件
• Q4_K_M 文件约需 5.6 GB 磁盘
• 空闲显存至少 8 GiB 的显卡，如果你想用 askmdb 的 GPU 模式

1. 安装 Hugging Face 客户端。
2. 把仓库文件下载到你的电脑。
3. 在 llama.cpp 里加载 GGUF 文件，或者在你的 GPU 有足够空闲显存时，让 askmdb 工具提供它。
4. 用只读用户连接 MongoDB，因为 askmdb 之外没有东西检查查询。

pip install -U huggingface_hub
hf download manuelgscom/askmdb-9b-GGUF

如何使用：把你集合和字段的简明描述连同你的问题一起交给模型。它回答一个包含管道的 JSON 对象。在 askmdb 里，检查器只放行只读管道。来源没有给出启动命令，所以请按 llama.cpp 的指南使用 llama-server。在 askmdb 之外，没有东西验证管道，所以运行之前请先读一遍。

Tool | What it does
askmdb | 命令行工具，显示管道、解释它，并在安全检查后运行
llama-server | 把模型提供给其他应用，CPU 或 GPU 都行
Q4_K_M GGUF file | 压缩后的权重，5,629.1 MB
Schema summary | 你放进提示词里的数据库简短描述

示例：你用英语或西班牙语问，在提示词里描述过的集合中每个国家有多少订单。模型返回一个 JSON 对象，里面有一条聚合管道和简短说明。你先读一遍，再用只读的 MongoDB 用户运行它。

新手与专家：如果你是新手，先用 askmdb 工具，因为它会显示管道、解释它，并在任何东西运行之前检查它只读。先试一个简单的问题。

如果你熟悉这个领域：权重是合并了 LoRA 的 Qwen3.5-9B，用重要性矩阵量化为 Q4_K_M。askmdb 的四种尺寸共用同样的数据、输出约定和提示词。安全不在模型里，在 askmdb 里由一个确定性的验证器负责。

问题加上数据库概述
askmdb-9b 写出管道
验证器只放行读取
查询在 MongoDB 上运行

注意事项：作者在一个含 500 个用例的公开集合上，通过实际运行每条查询来评分。结果胜过他们比较的、未经微调的基础模型。

Title: 500 个公开用例上的测试准确率，单位百分比
askmdb-9b: 91.6 %
askmdb-0.8b: 83.6 %
Qwen3.5-9B: 47.8 %
Gemma 4 E4B-it: 45.4 %

• Speed: 在 askmdb 工具里，GPU 上每个问题约 1.85 s，占用 5.5 GiB 显存
• Languages: 西班牙语和英语
• Safety: 模型本身不判断安全，所以在 askmdb 之外要检查每条查询，并使用只读用户
• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 下载到你电脑上的模型文件，以及 askmdb 运行查询时你指向的 MongoDB 数据库
• Not for: MongoDB 之外的数据库，或写入和修改数据，因为它只产出只读管道

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：9B
• Weights: about 4.5 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：351
• 点赞：5
• 许可证：apache-2.0
• 语言：es, en
• 基于：Qwen/Qwen3.5-9B
• 标签：gguf, mongodb, text-to-query, nl2query, llama.cpp, vulkan, text-generation, model-index, imatrix, conversational

链接

• 模型：https://huggingface.co/manuelgscom/askmdb-9b-GGUF
• 文件：https://huggingface.co/manuelgscom/askmdb-9b-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download manuelgscom/askmdb-9b-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。