officialmobai_Rostam-S1-4B-GGUF

officialmobai_Rostam-S1-4B-GGUF

Rostam-S1-4B 的 GGUF 量化版本，这是一个 4B 推理模型，擅长数学、物理、软件工作和波斯语与英语文本。适合在本地运行小模型、想自己挑文件大小的人。

由 bartowski 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Rostam-S1-4B 的 GGUF 量化版本，Rostam-S1-4B 是 Mob AI 与 Spark 项目合作做的推理模型，面向数学、物理、软件工程以及波斯语和英语的工作。这些文件由 bartowski 用 llama.cpp 和重要性矩阵制作，大小从 2.62 GB 到 8.23 GB。

适合谁：在自己电脑上运行模型、想要一个能处理波斯语也能处理英语的小型推理模型的人。

Industry | Who uses it | How they use it | Example
教育 | 学生和家教 | 用波斯语或英语解数学和物理题 | 对一道物理题的分步讲解
软件 | 开发者 | 向本地模型请求编程帮助和工具式调用 | 在私人机器上审查一个函数
语言工作 | 波斯语和英语写作者 | 在一个对话里切换两种语言 | 用波斯语提问，用英语回答
研究 | 爱好者 | 在一个小模型上比较量化大小 | 在同一提示词上比较 Q4_K_M 和 Q6_K

如果你需要图像或音频输入，可以跳过它，因为模型卡只列出文字输入。

用在哪里：

• 你自己的电脑：任何能用 Python 获取文件的 Windows、macOS 或 Linux 机器
• 能读取 GGUF 文件的本地运行器，例如制作这些文件的 llama.cpp

Use case | Who | What they get back
数学和物理帮助 | 学生 | 一段推理过程，后面跟着答案
编程帮助 | 开发者 | 代码建议，提示词格式支持工具定义
双语聊天 | 说波斯语和英语的人 | 两种语言中任一种的回复

如何设置：你需要装有 pip 的 Python、足够放下所选文件的磁盘空间，以及一个能打开 GGUF 文件的本地运行器。

• Windows、macOS 或 Linux 上的 Python 和 pip
• 一个文件的磁盘空间，Q4_K_M 约 2.62 GB
• 支持 GGUF 的运行器

1. 安装 Hugging Face hub 工具。
2. 下载仓库的文件，或者只下载你想要的那一个量化版本。

pip install -U huggingface_hub
hf download bartowski/officialmobai_Rostam-S1-4B-GGUF

如何使用：在运行器里加载一个文件，然后和它聊天。提示词格式先是系统部分，然后是你的消息，再是打开思考通道的机器人回合。你在系统部分设置 low 或 high 的思考强度。

hf download bartowski/officialmobai_Rostam-S1-4B-GGUF

Tool | What it does
hf download | 把这个仓库的文件复制到你的电脑
thinking_effort | 设为 low 或 high，引导模型回复前思考多少
Tool definitions | 系统部分里的可选块，描述模型可以调用的函数

示例：你把思考强度设为 high，用波斯语请它分步解一道物理题。模型先在思考通道里思考，再写出解答。

新手与专家：如果你是新手，先选 Q4_K_M 文件，模型卡说它在体积和速度之间比较均衡。加载它，问一个简短的问题。

如果你熟悉这个领域，这些文件是 4B 源检查点的 llama.cpp 重要性矩阵量化版本，BF16 是全精度选项。模型卡列出不支持推测解码。提示词格式使用句子开始和结束标记，以及用户和机器人角色。

选择量化大小
下载 GGUF 文件
在本地运行器里加载
设置思考强度后聊天

注意事项：越大的量化版本保留越多质量，但需要更多磁盘和内存。模型卡把 Q6_K 和 Q5_K_M 列为推荐选择。

Title: 各量化类型的文件大小，单位 GB
BF16: 8.23 GB
Q8_0: 4.38 GB
Q6_K: 3.61 GB
Q5_K_M: 3.16 GB
Q4_K_L: 2.81 GB
Q4_K_M: 2.62 GB

• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 你从 Hugging Face 下载的文件，以及你输入到自己运行器里的文字
• Not for: 文字以外的输入，以及模型卡列出不支持的推测解码

Hugging Face 上的数据（2026年11月14日）

• 任务：text generation
• 参数量：4.1B
• Weights: about 2.1 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：1,091
• 点赞：2
• 许可证：apache-2.0
• 语言：en, fa
• 基于：officialmobai/Rostam-S1-4B
• 标签：gguf, reasoning, math, physics, persian, code, agentic, mob-ai, rostam, text-generation, conversational

链接

• 模型：https://huggingface.co/bartowski/officialmobai_Rostam-S1-4B-GGUF
• 文件：https://huggingface.co/bartowski/officialmobai_Rostam-S1-4B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download bartowski/officialmobai_Rostam-S1-4B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。