ttf-Qwen3.8-Flash-Next-GGUF

ttf-Qwen3.8-Flash-Next-GGUF

用一个 40.4 GB 的 GGUF 文件运行被压成三值权重的 180B 混合专家模型 Qwen3.8-Flash-Next，比 FP8 版本小 4.6 倍。适合配合打过补丁的 llama.cpp 在本地使用。

由 oguzeldereli 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen3.8-Flash-Next 的一个 GGUF 文件，它是 180B 参数的混合专家模型，每个路由专家和稠密投影都被压成三值。文件 40.4 GB，比 FP8 版本小 4.6 倍。

作者在一块 GPU 上逐层转换，再用 FP8 模型做蒸馏的恢复训练。每层的 n-gram 嵌入表经过裁剪和乘积量化，缩到 7.96 GB。

适合谁：它适合内存充足、想在本地用超大模型的人，也适合研究语言模型三值压缩的研究者。

行业 | 谁在用 | 怎么用 | 例子
本地 AI | 爱好者 | 在一台工作站上和 180B 模型聊天 | 离线问编程问题
软件 | 开发者 | 不用集群就测试超大混合专家模型 | 在终端里运行本地助手
研究 | 压缩研究者 | 研究三值转换和恢复训练 | 与 FP8 模型对比分数
隐私 | 小团队 | 让提示词留在自己的硬件上 | 在本地运行内部草稿

如果你的内存不到 64 GB，或者想要主线 llama.cpp 能加载的文件，可以跳过它。

用在哪里：你在装有 Python 的 Windows、macOS 或 Linux 上下载文件，再用 ttf-home 工具构建的、打过补丁的 llama.cpp 引擎来运行。

• 通过 ttf 命令在终端里聊天
• 一块 GPU，大部分专家留在系统内存里
• 约 64 GB 内存的机器

用途 | 谁 | 得到什么
本地聊天 | 爱好者 | 在你自己的机器上得到 180B 模型的回复
代码和数学 | 开发者 | 模型卡在 HumanEval 和 GSM8K 上给出分数的那类回答
事实记忆测试 | 研究者 | 看三值权重如何影响闭卷回答

如何设置：你需要带 pip 的 Python、一块 GPU、约 64 GB 内存和 ttf-home 工具。主线 llama.cpp 不能加载这个文件，因为它需要针对这种架构的 TTF 补丁。

• 带 pip 的 Python
• 一块 GPU，以及放专家的约 64 GB 内存
• 来自 GitHub 仓库的 ttf-home 工具

1. 从 GitHub 仓库获取 ttf-home，并打开它的文件夹。
2. 用 pip 安装它。
3. 用 q38 选项构建打过补丁的引擎。
4. 下载模型文件。

pip install -e . huggingface_hub
ttf engine build --q38
hf download oguzeldereli/ttf-Qwen3.8-Flash-Next-GGUF --local-dir models/ttf-flash

如何使用：下载完成后，你用 GGUF 文件打开终端聊天。线程数设成你电脑的物理核心数。

ttf chat models/ttf-flash/ttf-Qwen3.8-Flash-Next-TQ1_P.gguf

工具 | 作用
ttf engine build --q38 | 构建打过补丁的 llama.cpp 引擎
ttf chat | 打开与你指定文件的聊天

示例：你用模型文件启动聊天命令，输入一个简短的编程问题。模型在终端里回答。模型卡给这个文件在 HumanEval 上的分数是 0.848。

新手与专家：如果你是新手，先确认内存够不够。然后按顺序做完设置步骤，发一个简短的问题，看看它回复有多快。

如果你懂这个领域，三值 GPTQ 作用在中心化输入协方差上，配有行列缩放，每个线性层还带一个 rank-16 的三值适配器。随后用 33M token 做 1000 步 TTF 恢复训练。

把每一层转成三值
用蒸馏做恢复训练
构建打过补丁的 llama.cpp
与 GGUF 文件聊天

注意事项：三值权重在闭卷事实记忆上损失最大，而在模型卡的测试里，数学和代码接近 FP8。

基准 | 本模型 | FP8 版本
GSM8K，前 200 道题 | 0.905 | 0.905
HumanEval | 0.848 | 0.927
TriviaQA，1000 个问题 | 0.538 | 0.776

模型卡在 RTX 3090 Ti、12 个 CPU 线程下测得解码速度为每秒 29.7 个 token，部分专家放在 GPU 上。

• License: 权重沿用基础模型的 Apache-2.0，TTF 代码使用 PolyForm Noncommercial 1.0.0
• Cost to run: 未提及费用，但需要约 64 GB 内存和一块 GPU
• Data it reaches: 你下载的文件，没有提到账号或网络服务
• Not for: 主线 llama.cpp，它不能加载这个文件，而且不包含 MTP 层和视觉塔

Hugging Face 上的数据（2026年11月13日）

• 框架：gguf
• Formats: GGUF
• 最近 30 天下载：190
• 点赞：5
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-Flash-Next
• 标签：gguf, ternary, 1.58-bit, llama.cpp

链接

• 模型：https://huggingface.co/oguzeldereli/ttf-Qwen3.8-Flash-Next-GGUF
• 文件：https://huggingface.co/oguzeldereli/ttf-Qwen3.8-Flash-Next-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download oguzeldereli/ttf-Qwen3.8-Flash-Next-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。