ttf-Qwen3.8-27B-GGUF

ttf-Qwen3.8-27B-GGUF

把 Qwen3.8-27B 压缩成三值权重的 GGUF 文件，可在 12 GB 显卡上运行，有 8.2 GB 和 6.74 GB 两个版本。适合想在普通硬件上跑大型本地模型的人。

由 oguzeldereli 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库有 Qwen3.8-27B 的两个 GGUF 文件，其中每个线性层都被压成三个值，负一、零和正一，再配上行列缩放。约每个权重 1.6 位，整个模型能完全在 12 GB 显卡上运行。

较大的文件在每个线性层上带有三值低秩适配器。较小的文件不带这些适配器，而是在恢复训练中让三值本身参与训练。

适合谁：它适合想在家里用大模型但没有大显卡的人，也适合研究语言模型极低位压缩的研究者。

行业 | 谁在用 | 怎么用 | 例子
本地 AI | 爱好者 | 在 12 GB 显卡上和 27B 模型聊天 | 离线问编程问题
软件 | 开发者 | 在一台机器上把模型当 API 提供 | 让应用指向本地端口
研究 | 量化研究者 | 研究三值转换和恢复训练 | 与全精度对比分数
隐私 | 小团队 | 让提示词留在自己的硬件上 | 不用托管 API 运行助手

如果你想要主线 llama.cpp 能直接加载的文件，可以跳过它，因为这种格式需要打过补丁的引擎。

用在哪里：你在装有 Python 的 Windows、macOS 或 Linux 上下载文件，再用 ttf-home 工具构建的、打过补丁的 llama.cpp 引擎来运行。

• 通过 ttf 命令在终端里聊天
• 带 OpenAI 兼容 API 的本地服务器
• 12 GB 显卡，找到 NVIDIA 显卡时用 CUDA，否则用 CPU

用途 | 谁 | 得到什么
本地聊天 | 爱好者 | 在终端里得到 27B 模型的回答
本地 API | 开发者 | 你机器上的 OpenAI 兼容端点
基准测试 | 研究者 | 可与全精度对比的分数

如何设置：你需要带 pip 的 Python、12 GB 显卡，以及用来构建打过补丁引擎的 ttf-home 工具。主线 llama.cpp 不能加载这些文件。

• 带 pip 的 Python
• 12 GB 显卡，最好是能用 CUDA 的 NVIDIA
• 来自 GitHub 仓库的 ttf-home 工具

1. 从 GitHub 仓库获取 ttf-home，并打开它的文件夹。
2. 用 pip 安装它。
3. 用 q38 选项构建打过补丁的引擎。
4. 下载你想要的 GGUF 文件。

pip install -U pip "setuptools>=68"
pip install -e . huggingface_hub
ttf engine build --q38
hf download oguzeldereli/ttf-Qwen3.8-27B-GGUF ttf-Qwen3.8-27B-adapters-r0.2-TQ1_P.gguf --local-dir models/ttf-27b

如何使用：引擎和文件就绪后，你可以在终端里和模型聊天，也可以在你选的端口上通过 HTTP 提供服务。

ttf chat models/ttf-27b/ttf-Qwen3.8-27B-adapters-r0.2-TQ1_P.gguf
ttf serve models/ttf-27b/ttf-Qwen3.8-27B-adapters-r0.2-TQ1_P.gguf --port 8080

工具 | 作用
ttf engine build --q38 | 构建带 TTF 补丁的 llama.cpp
ttf chat | 打开与你指定文件的聊天
ttf serve | 把文件作为 OpenAI 兼容 API 提供服务

示例：你用 8.2 GB 的文件运行聊天命令，输入一道简短的数学应用题。模型在终端里回复。在 GSM8K 的前 200 道题上，模型卡给出 0.895，与全精度相同。

新手与专家：如果你是新手，先确认你有一块 12 GB 的显卡，再按顺序做完设置步骤，用聊天命令问一个简短的问题试试。

如果你懂这个领域，转换过程把归一化增益并入线性层，用随机化 Hadamard 旋转残差流，再做三值 GPTQ。随后恢复训练从全精度模型蒸馏，共 2200 步、72M token。

把各层转成三值权重
从全精度做恢复训练
构建打过补丁的 llama.cpp 引擎
聊天或提供 GGUF 文件服务

注意事项：6.74 GB 的文件需要更新的引擎构建。如果你之前构建过引擎，请删除它的缓存文件夹后重建，因为旧版引擎会报张量数量错误并停止。

基准 | 本模型 | 全精度
GSM8K，前 200 道题 | 0.895 | 0.895
HumanEval | 0.841 | 0.933
IFEval 严格，前 200 条提示词 | 0.735 | 0.787

• License: apache-2.0
• Cost to run: 未提及费用，但需要 12 GB 显卡
• Data it reaches: 你下载的文件，没有提到账号或网络服务
• Not for: 主线 llama.cpp，它不能加载这种文件类型

Hugging Face 上的数据（2026年11月13日）

• 框架：gguf
• 参数量：33.8B
• Weights: about 16.9 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：320
• 点赞：5
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• 标签：gguf, ternary, 1.58-bit, llama.cpp, conversational

链接

• 模型：https://huggingface.co/oguzeldereli/ttf-Qwen3.8-27B-GGUF
• 文件：https://huggingface.co/oguzeldereli/ttf-Qwen3.8-27B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download oguzeldereli/ttf-Qwen3.8-27B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。