Swift 1.5 Ornith 9B GGUF

Swift 1.5 Ornith 9B GGUF

以 llama.cpp 用的 GGUF 量化版本运行 Swift 1.5 Ornith 9B，这是一个调校成用更少 token 思考的推理模型。适合在自己机器上运行 9B 推理模型的人。

由 ukisai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Swift 1.5 Ornith 9B 的 GGUF 量化版本，该模型来自 UkisAI，有 9.2B 参数。Swift 是 Ornith-1.5-9B 的推理高效版本。模型卡称它比这个底座少用 33.1% 的思考 token，GPQA-Diamond 得分还高出 1.52 个点。这些文件是用 llama.cpp 直接从 Safetensors 版本生成的。

适合谁：它适合想在本地硬件上运行 9B 推理模型的开发者和爱好者，也适合觉得长篇思考太耗时间的人。

行业 | 使用者 | 用法 | 例子
软件 | 开发者 | 通过 llama-server 运行本地推理模型 | 用更短的思考轨迹回答一道难题
研究 | 机器学习研究者 | 对比做过 token 惩罚的微调模型和它的底座 | 把 Swift 1.5 和 Ornith-1.5-9B 放在一起比较
自托管 | 爱好者 | 在配置一般的机器上加载一个量化档位 | 在 llama.cpp 运行时里跑一个 4 比特级别的文件

想要原始 Safetensors 权重的人可以跳过这个仓库，因为模型卡指向了另一个仓库。

用在哪里：

• llama.cpp，以及与它兼容的运行时，比如 llama-server
• Windows、macOS 或 Linux，用 Python 就能下载文件

使用场景 | 谁用 | 得到什么
在本地回答推理问题 | 开发者 | 思考 token 比底座更少的回复
测试某个量化档位 | 研究者 | 一个你可以加载并在自己任务上评判的文件
离线问答 | 爱好者 | 在你机器上运行、无需托管服务的模型

如何设置：

• 装有 pip 的 Python，用于下载
• 一个兼容 llama.cpp 的较新运行时，比如 llama-server
• 所选档位需要的磁盘空间，4 比特约 4.6 GB，为估算值

1. 安装 Hugging Face 的 hub 客户端。
2. 下载仓库里的文件。
3. 在你选的量化档位上启动运行时。

pip install -U huggingface_hub
hf download ukisai/Swift-1.5-Ornith-9B-GGUF

如何使用：选一个量化档位，在 llama-server 或其他能读取 llama.cpp 文件的较新运行时里启动它。加载完成后，你就可以像对任何本地聊天模型那样发送提示词。

工具 | 作用
hf download | 把仓库里的文件取到你的电脑上
llama-server | 能加载 GGUF 档位并回答提示词的 llama.cpp 运行时

示例：你在 llama-server 里加载一个档位，问一道 GPQA-Diamond 那类的难题科学问题。模型卡称它的推理轨迹比底座更短，所以答案应该在更少的思考 token 之后出现。

新手与专家：推理模型会在回答前写出自己的思考，有些模型会想得太久。这个模型被调校得想得更少。先下载文件，在 llama-server 里加载一个档位，再问它一个你能核对的问题。

制作方找出与过度思考相关的 token 并对它们施加惩罚，而不是直接去压缩推理长度，这带来了更紧凑的 token 使用。他们的训练数据是一套多轮智能体数据，经过重新采样并改造成 RL 环境。他们还称在自己的测试中看到了更少的过度思考错误。

从 Ornith-1.5-9B 出发
惩罚与过度思考相关的 token
得到 Swift 1.5 Ornith 9B
用 llama.cpp 转成 GGUF 档位
在本地运行选定的档位

注意事项：

• 报告的提升：按模型卡所述，思考 token 少 33.1%，GPQA-Diamond 得分比底座高 1.52 个点
• 体积：9.2B 参数，4 比特约 4.6 GB，为估算值
• 标签：页面把它列为图像文本转文本，但模型卡没有展示图像用法
• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 你发给自己运行时的提示词，未提到网络或账号访问
• Not for: 模型卡中未提及

Hugging Face 上的数据（2026年11月14日）

• 任务：image text to text
• 框架：gguf
• 参数量：9.2B
• Weights: about 4.6 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：3,763
• 点赞：26
• 许可证：apache-2.0
• 基于：ukisai/Swift-1.5-Ornith-9B
• 标签：gguf, llama.cpp, swift, ornith, qwen3_5, reasoning, efficient-thinking, token-efficient, post-training, experimental, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/ukisai/Swift-1.5-Ornith-9B-GGUF
• 文件：https://huggingface.co/ukisai/Swift-1.5-Ornith-9B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ukisai/Swift-1.5-Ornith-9B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。