Ornith-1.5-9B-GGUF

Ornith-1.5-9B-GGUF

Ornith 1.5 9B 的 GGUF 版本，这是一个能读图像和文字的模型，文件大小从 2.81 GB 到 17.9 GB，另有视觉投影文件。选一个适合你显存的文件，在本地运行。

由 AtomicChat 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：AtomicChat 把 Ornith-1.5-9B，一个能处理图像和文字的 9B 模型，转换成了供本地运行器使用的 GGUF 文件。文件大小从 2.81 GB 到 17.9 GB。AD 文件使用针对这个模型调好的逐张量比特布局，并用团队自己的重要性矩阵生成。一个单独的视觉投影文件提供图像输入。Atomic Chat 应用提供思考开关。

适合谁：如果你想在自己的显卡上运行一个 9B 的图文模型，并且需要一个与你内存匹配的文件，它就适合你。

行业 | 谁在用 | 怎么用 | 例子
本地 AI | 离线运行模型的人 | 选择适合自己显存的文件 | 在 8 GB 的显卡上选 5.93 GB 的文件
视觉任务 | 会问图片问题的用户 | 把视觉投影文件和语言文件一起加载 | 拿一张截图问模型
研究 | 量化研究人员 | 把 AD 文件和共用同一个矩阵的标准预设做对比 | 查看 KL 散度和 top-1 两列

如果你的显存不到 4 GB，可以跳过它，因为模型卡建议的最小配置是 4 GB。

用在哪里：

• llama.cpp，模型卡测量时用的运行器
• Atomic Chat，同一团队做的应用
• 装有 Python 的 Windows、macOS 和 Linux，用来下载文件

用例 | 谁 | 得到什么
本地助手 | 开发者和爱好者 | 在自己机器上用文字回答的 9B 模型
图片提问 | 有投影文件的用户 | 会参考图像的回答
选择文件 | 内存有限的人 | 适合 4、6、8、12、16 或 24 GB 的文件

如何设置：
你需要先准备：

• Python，用来使用 Hugging Face 的下载客户端
• 能放下你所选文件的显存
• llama.cpp 或 Atomic Chat 应用

1. 安装或更新 Hugging Face 下载客户端。
2. 把仓库的文件下载到你的电脑。
3. 从模型卡的内存表里选一个文件。
4. 在你的运行器里加载它，想用图像的话再加上视觉投影文件。

pip install -U huggingface_hub
hf download AtomicChat/Ornith-1.5-9B-GGUF

如何使用：你在 llama.cpp 或 Atomic Chat 里加载一个语言文件并和模型对话。只用文字的话就不加投影文件。这里的文字在运行步骤之前就被截断了，所以具体选项请参考模型卡和它的指南。

工具 | 作用
BF16 文件 | 17.9 GB 的参考版本，适合 24 GB 及以上
Q8_0 文件 | 9.53 GB 的版本，适合 16 GB
AD-Q5_K-Q4_K 文件 | 5.93 GB 的版本，适合 8 GB，模型卡称它是最佳平衡点
AD-Q4_K-IQ4_XS 文件 | 5.61 GB 的版本，适合紧张的 8 GB
Vision projector 文件 | 0.92 GB 的文件，提供图像输入

示例：你有一块 8 GB 的显卡，所以选了 5.93 GB 的 AD-Q5_K-Q4_K 文件，并和视觉投影文件一起加载。模型卡测得这个文件与参考版本的 top-1 吻合度为 93.10%。

新手与专家：文件越小占内存越少，但精度会损失一些。可以先选模型卡为你的显存大小列出的文件，做一次简短的聊天。

对熟悉这个领域的读者来说，模型卡报告了相对 BF16 参考版本的两项指标。平均 KL 散度越低越好。Top-1 统计文件选出与参考版本相同的下一个词的频率。测试在一块 RTX 5090 上，用 llama.cpp b10505，在 4096 上下文下使用留出的中性文本集。普通预设也是用同一个矩阵生成的，所以差距只来自 AD 布局。

查看你的显存
从模型卡的表里选一个文件
下载它
加载它，要用图像就带上投影文件
和模型聊天

注意事项：

• 大小：列出的大小已经包含 0.9 GB 的投影文件和 8k 上下文下约 1 GB 的开销。
• 最小的文件：模型卡发布最小的两个文件只是为了完整，并说最小的那个表现得像另一个模型。
• 警告：2.81 GB 的文件与参考版本只在 53.74% 的 token 上一致。
• 截断：这里的文字在模型卡的图表讨论之前就结束了。
• 数字：Hugging Face 列出 9B 参数，4 位下约 4.5 GB 的估计值。

Title: 与 BF16 参考版本的 top-1 一致率，越高越好
Q8_0: 97.94 %
Q6_K: 96.54 %
AD-Q5_K-Q4_K: 93.10 %
Q5_K_M: 92.80 %
AD-Q4_K-IQ4_XS: 91.93 %
IQ3_M: 84.18 %
AD-IQ2_XXS-IQ1_M: 53.74 %

• License: MIT。
• Cost to run: 未提及。你需要能放下该文件的显存。
• Data it reaches: 你在自己机器上提供的提示词和图像。这里的文字没有提到联网使用。
• Not for: 用最小的两个文件做正经工作，模型卡发布它们只是为了完整。

Hugging Face 上的数据（2026年11月14日）

• 任务：image text to text
• 框架：gguf
• 参数量：9B
• Weights: about 4.5 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：41,746
• 点赞：83
• 许可证：mit
• 基于：ornith-ai/Ornith-1.5-9B
• 标签：gguf, llama.cpp, vision, agentic-coding, imatrix, conversational, image-text-to-text

链接

• 模型：https://huggingface.co/AtomicChat/Ornith-1.5-9B-GGUF
• 文件：https://huggingface.co/AtomicChat/Ornith-1.5-9B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download AtomicChat/Ornith-1.5-9B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。