Laya-GGUF

Laya-GGUF

一个 4.21 亿参数的小型决策模型，GGUF 格式，在本地提供服务，通过 systemone API 调用。适合使用 llama.cpp 工具、想要紧凑分类器的开发者。

由 ggml-org 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Laya-GGUF 是 Laya 的 GGUF 转换版本，Laya 是一个有 4.21 亿参数的小型决策模型，归类为文本分类。文件由转换工具从原模型自动生成。模型卡很短，对模型具体做什么决定说得很少。

适合谁：已经在用 llama.cpp 工具、想在本地服务器后放一个紧凑模型的开发者。

Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 在自己的应用旁运行一个小型决策模型 | 启动服务器并调用它的 systemone API
开源工具 | llama.cpp 用户 | 用一条命令试用转换后的模型 | 直接从 Hugging Face 提供模型服务
教育 | 学生 | 了解一个小型转换模型是怎么打包的 | 把它的大小与更大的模型比较

如果你需要有文档说明的标签或输出，可以跳过它，因为模型卡没有描述这些。

用在哪里：

• Llama 应用
• 终端，使用 llama 命令
• 任何能调用本地服务器上该模型 systemone API 的应用

Use case | Who | What they get back
在本地提供模型服务 | 开发者 | 一个承载该模型的本地服务器
调用决策 API | 应用作者 | 模型卡提到的 systemone API 的响应

如何设置：你需要 Llama 应用或它的终端命令，以及能从 Hugging Face 拉取模型的网络连接。没有提到需要密钥或账号。

• Llama 应用，或终端里的 llama 命令
• 一个小文件的磁盘空间，按记录的估计 4-bit 约 211 MB

1. 安装 Llama 应用或它的终端工具。
2. 运行 serve 命令，它会从 Hugging Face 拉取模型。

llama serve -hf ggml-org/Laya-GGUF

如果你想自己获取文件，可以使用 hub 工具。

pip install -U huggingface_hub
hf download ggml-org/Laya-GGUF

如何使用：用 serve 命令启动服务器，然后向它的 systemone API 发送请求。模型卡说这是一个决策模型，专为该 API 使用，并指向了 llama.cpp 的一处改动以了解细节。

llama serve -hf ggml-org/Laya-GGUF

Tool | What it does
llama serve | 启动本地服务器并加载模型
-hf | 指定从哪个 Hugging Face 仓库拉取模型
systemone API | 模型卡说明该模型通过它来使用的接口

示例：你用 serve 命令启动服务器，向它的 systemone API 发送一个请求。模型卡没有给出示例请求或回复，所以请阅读它指向的 llama.cpp 说明来了解准确的格式。

新手与专家：如果你是新手，运行 serve 命令，确认服务器能启动。仅此一步就能确认模型能在你的机器上加载。

如果你熟悉这个领域，你得到的是一个 4.21 亿参数的决策模型 GGUF 文件，按估计 4-bit 约 211 MB。它不是聊天模型。它的请求和响应格式在模型卡之外有文档。

运行 serve 命令
模型下载并加载
向 systemone API 发送请求
读取模型的决定

注意事项：这些文件是自动转换的，所以训练细节和限制不在模型卡里。

• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 从 Hugging Face 拉取的文件，以及你发给自己本地服务器的请求
• Not for: 一般聊天，因为模型卡称它为决策模型

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 参数量：421M
• Weights: about 211 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：16,039
• 点赞：41
• 许可证：apache-2.0
• 基于：convaiinnovations/laya
• Quantized versions: 1
• 标签：gguf, quantized, decision-model, text-classification, feature-extraction

链接

• 模型：https://huggingface.co/ggml-org/Laya-GGUF
• 文件：https://huggingface.co/ggml-org/Laya-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ggml-org/Laya-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。