Qwen3.8-Flash-Next-125B-UltraLite-37GiB-GGUF

Qwen3.8-Flash-Next-125B-UltraLite-37GiB-GGUF

把 Qwen3.8-Flash-Next 混合专家模型压缩成约 37 GiB 的纯文本 GGUF 文件，供实验使用。它需要发布包里附带的补丁版 llama.cpp 才能运行。

由 0xKitkat 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen3.8-Flash-Next 的实验性纯文本 GGUF 版本，总参数 125B，激活参数约 6B。作者把 Unsloth 的 72.55 GB 源文件压缩到 39,721,239,200 字节，约 37 GiB。它按张量角色混合量化，需要打过补丁的 llama.cpp 才能加载。

适合谁：如果你是喜欢把量化推到极限的折腾爱好者或工程师，并且愿意自己构建补丁版运行时，它就适合你。

行业 | 谁在用 | 怎么用 | 例子
本地 AI | 在家运行大模型的爱好者 | 用 37 GiB 的文件运行一个 125B 混合专家模型 | 在补丁版运行时里加载三个分片并试一个提示词
量化研究 | 研究低比特格式的工程师 | 研究混合的 1 位和 2 位张量 | 了解首尾层如何保留 2 位专家张量组
推理工具 | llama.cpp 贡献者 | 测试填充后的逐层嵌入布局 | 检查 160 个值的行如何填充到 256 个值

如果你需要原版 llama.cpp、Ollama 或图像输入，可以跳过它，因为这个版本只支持文本，并且打了补丁。

用在哪里：

• 应用了附带补丁的固定版本 Qwen4Exp llama.cpp
• 装有 Python 的 Windows、macOS 和 Linux，用来下载文件
• 能放下约 37 GiB 文件的机器

用例 | 谁 | 得到什么
本地文本生成 | 爱好者 | 来自一个高度压缩的 125B 模型的回复
量化研究 | 研究人员 | 一个按角色混合量化的实例
运行时测试 | 工具开发者 | 一个使用填充嵌入布局的真实模型

如何设置：
你需要先准备：

• Python，用来使用 Hugging Face 的下载客户端
• 约 39.7 GB GGUF 分片所需的磁盘空间
• 能用补丁构建固定版本 llama.cpp 的能力

1. 安装或更新 Hugging Face 下载客户端。
2. 下载这个仓库，里面有三个 GGUF 分片、补丁和构建清单。
3. 阅读构建清单里固定的 llama.cpp 版本，把补丁打上去，然后构建运行时。
4. 用这个补丁版运行时加载分片，并发送文本提示词。

pip install -U huggingface_hub
hf download 0xKitkat/Qwen3.8-Flash-Next-125B-UltraLite-37GiB-GGUF

如何使用：补丁版运行时构建好之后，你加载三个分片，只用文本向模型提问。这里能看到的模型卡文字没有给出运行命令，具体调用请看模型页面。

工具 | 作用
patches/qwen4exp-under40.patch | 让固定版本的 llama.cpp 能读取填充后的行布局
build-manifest.txt | 固定确切的构建和运行时版本
SHA256SUMS | 保存各个分片的校验和
hf download | 把仓库的文件下载到你的电脑

示例：你在补丁版运行时里加载三个分片，发送一条简短的提示词。模型卡自己的冒烟测试评估了一条提示词、生成了第一个 token 并以退出码 0 结束，所以你可以预期得到文字，但这不是质量保证。

新手与专家：这个模型很难运行，因为常规工具打不开它。第一步可以先读模型页面和构建清单，再决定要不要花时间下载 37 GiB 的文件。

对熟悉这个领域的读者来说，逐层 token 表的每一行从 160 个值填充到 256 个值，并以 Q1_0 保存。专家 down 张量组保持 Q2_0，gate 和 up 张量组在内部层用 Q1_0，在第 0 到 2 层和第 44 到 47 层用 Q2_0。注意力、路由器和嵌入原样复制。模型卡报告每权重 1.80 位，并承认存在量化误差。

下载分片和补丁
把补丁打到固定版本的 llama.cpp 上
构建补丁版运行时
加载三个分片
发送文本提示词

注意事项：

• 实验性：模型卡称这是实验性版本，可见文字只给出了冒烟测试，没有质量基准。
• 运行时：原版 llama.cpp 不理解这种自定义行布局，所以必须使用附带的补丁。
• 范围：只支持文本。视觉投影器和单独的推测头都不包含。
• 数量：Hugging Face 列出 208B 参数和 4 位 104 GB，而模型卡写的是 125B 和 37 GiB。

Title: 文件大小
源 GGUF: 72.55 GB
UltraLite 版本: 39.721239 GB

• License: Apache 2.0。
• Cost to run: 未提及。硬件由你自己提供，并且要自己构建补丁版运行时。
• Data it reaches: 按来源所示，只有从 Hugging Face 下载文件。
• Not for: 原版 llama.cpp 或图像输入。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：208B
• Weights: about 104 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：340
• 点赞：11
• 许可证：apache-2.0
• 基于：unsloth/Qwen3.8-Flash-Next-GGUF
• 标签：gguf, qwen, qwen4exp, llama.cpp, quantized, ultra-low-bit, text-generation, imatrix, conversational

链接

• 模型：https://huggingface.co/0xKitkat/Qwen3.8-Flash-Next-125B-UltraLite-37GiB-GGUF
• 文件：https://huggingface.co/0xKitkat/Qwen3.8-Flash-Next-125B-UltraLite-37GiB-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download 0xKitkat/Qwen3.8-Flash-Next-125B-UltraLite-37GiB-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。