Tess-4.5-27B GGUF

Tess-4.5-27B GGUF

Tess-4.5 的 GGUF 版本，这是一个 27B 开放权重的编程和智能体模型，供 llama.cpp 使用，带视觉投影器和可选的草稿头来加快生成。适合在本地运行模型的人。

由 migtissera 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库里是 Tess-4.5 的 GGUF 量化版本，Tess-4.5 是一个 27 billion 参数、开放权重、用于编程和智能体工作的模型，为 llama.cpp 而做。仓库里还有用于图像输入的视觉投影器，以及能加快生成速度的小型多令牌预测草稿头。作者说它在 BenchLocal 上与它的基础模型 Qwen3.8-27B 持平，而使用的 token 少 25%。

适合谁：适合想在自己机器上运行编程助手的开发者和爱好者，比如一块 24 GB 的 GPU，或 32 GB 以上的 Mac。

Title: 谁会用它
Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在本地运行终端编程助手 | 通过系统提示词让它指向一个项目文件夹
本地 AI | 有 24 GB 显卡的爱好者 | 用 llama.cpp 提供量化模型服务 | 启动 llama-server 并与它聊天
研究 | 推理优化爱好者 | 用草稿头测试推测解码 | 对比有无草稿头的速度

如果你需要完整精度，可以跳过这些版本。这里最高的量化版本接近无损，但仍然是量化的。

用在哪里：它通过 llama-server 在 llama.cpp 里运行。模型卡说草稿头功能需要较新的上游 llama.cpp 构建。

• Windows、macOS 或 Linux 上的 llama.cpp
• 默认版本需要 24 GB 的 GPU 或 32 GB 以上的 Mac
• 最大的版本需要 48 GB 以上的机器

Title: 它能做的事
Use case | Who | What they get back
本地编程智能体 | 开发者 | 会使用你提供的工具和文件的回复
图像输入 | 多模态用户 | 加载投影器后，得到关于图片的文字回答
更快的生成 | 进阶用户 | 同一个模型借助草稿头得到更高的速度

如何设置：你需要较新的 llama.cpp，以及足够放下所选版本的内存。模型卡把 Q4_K_M 列为一块 24 GB GPU 的默认版本。

• 较新的上游 llama.cpp 构建
• 默认版本需要 24 GB 的 GPU 或 32 GB 以上的 Mac
• 带 pip 的 Python，如果你用 Hugging Face 工具取文件

1. 安装较新的 llama.cpp。
2. 选一个放得进你内存的版本。
3. 用 Hugging Face 仓库名或本地文件启动 llama-server。

pip install -U huggingface_hub
hf download migtissera/Tess-4.5-27B-GGUF

如何使用：用仓库名和推测解码选项启动 llama-server，这样也会取回对应的草稿头。然后就可以和它聊天。模型卡说，当你告诉 Tess 它在哪里，并传入你真实的工具时，它的效果最好。

llama-server -hf migtissera/Tess-4.5-27B-GGUF:Q4_K_M --spec-type draft-mtp --jinja -ngl 99 -c 65536

llama-server -m Tess-4.5-27B-Q4_K_M.gguf -md mtp-Tess-4.5-27B-Q8_0.gguf \
  --spec-type draft-mtp --jinja -ngl 99 -ngld 99 -c 65536

You are Tess, an agentic coding assistant that operates in the user's terminal.
# Environment
Working directory: /path/to/your/project

模型卡还说，要把你真实的工具放进 tools 字段，保持思考开启，并用 temperature 1.0、top_p 0.95 和 top_k 20 采样。

Title: 版本和文件
Build | Size | Use it for
Q4_K_M | 16.5 GB | 默认版本，适合一块 24 GB GPU 或 32 GB 以上的 Mac
Q6_K | 22.1 GB | 余量更大，更接近完整精度
Q8_0 | 28.6 GB | 接近无损，适合 48 GB 以上的机器
Draft head Q8_0 | 3.2 GB | 同一个模型更快地生成
Draft head Q4_K_M | 2.0 GB | 内存紧张时用的更小草稿头
Vision projector | 0.9 GB | 图像输入

示例：你用 Q4_K_M 的仓库名和草稿选项启动 llama-server，再写一条点明你项目文件夹的系统提示词。你让它找出某个文件里的错误。它会用你传入的工具来回答。

新手与专家：如果你是新手，这是一个被压缩进可在家用电脑上运行的文件里的大模型。装好 llama.cpp，用默认版本启动服务器，问一个简短的编程问题。

如果你熟悉这个领域，草稿头让 llama.cpp 先猜几个 token，再保留主模型认可的那些，所以输出还是同一个模型的，只是更快。在 24 GB GPU 上做很长的上下文时，模型卡建议量化 KV 缓存或降低上下文大小。

你用某个版本启动 llama-server
草稿头往前猜
主模型检查这些猜测
被接受的 token 更快地流回

注意事项：模型卡在两台机器上用 Q4_K_M 版本测了速度，每次一个请求，开启思考，单位是每秒 token 数。

Title: 每秒 token 数，Q4_K_M，代码任务
RTX 4090 without draft: 48.9 tok/s
RTX 4090 with draft head: 96.1 tok/s
Apple M4 Max without draft: 24.4 tok/s
Apple M4 Max with draft head: 37.8 tok/s

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 来自 Hugging Face 的模型文件，以及你连接上的项目文件和工具
• Not for: 完整精度，或想用草稿头时使用较旧的 llama.cpp 构建

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：gguf
• 参数量：26.9B
• Weights: about 13.4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：1,095,620
• 点赞：65
• 许可证：apache-2.0
• 语言：en
• 基于：migtissera/Tess-4.5-27B
• 标签：gguf, tess, llama.cpp, agentic, coding, reasoning, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/migtissera/Tess-4.5-27B-GGUF
• 文件：https://huggingface.co/migtissera/Tess-4.5-27B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download migtissera/Tess-4.5-27B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。