Mindket

Qwen3.8-27B-ASCII-Condensed

新上架第 1 版 · 更新于

概览

把 Qwen3.8-27B 的词表裁剪到只剩 ASCII,让一块 16 GB 显卡就能装下长得多的提示词。这是供 llama.cpp 使用的 GGUF 版本,适合英文文本和代码。

Qwen3.8-27B-ASCII-Condensed 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。

速览

你需要
  • 带有 llama-cli 的 llama.cpp 构建
  • 一块 16 GB 显卡,因为上下文上限就是在这样的显卡上测的
  • Python,用来通过 Hugging Face 工具获取文件
用在
  • llama.cpp 工具,比如 llama-cli,运行在 Windows、macOS 或 Linux 上
  • 16 GB 显存的显卡,作者测试的是 RTX 5070 Ti
  • 系统内存足够放下嵌入表的电脑
  • 显存更大的显卡,上下文上限会往上移
先运行
pip install -U huggingface_hub
hf download bsaleh03/Qwen3.8-27B-ASCII-Condensed

平台

Windows操作系统
macOS操作系统
Linux操作系统

关于

它是什么

Qwen3.8-27B-ASCII-Condensed 是 Qwen3.8-27B 的 GGUF 版本,词表只保留 ASCII 词元,因此 16 GB 显卡上有更多空间留给长上下文。在 RTX 5070 Ti 上,作者达到了 135,168 个词元的上下文,而同样量化但不做裁剪的版本只能做到 114,688。没有任何权重被重新训练或重新量化。

适合谁

如果你用 llama.cpp 在一块 16 GB 显卡上运行大型本地模型,并且需要为英文文本或代码准备很长的提示词窗口,它很适合你。主要使用其他语言的人应该另选别的。

IndustryWho uses itHow they use itExample
软件开发运行本地编程助手的开发者把很长的文件放进提示词在作者的测试中,16 GB 显卡上最多能装下 135,168 个词元
研究与写作用英文工作的分析师在自己的机器上向长文档提问一份长文档能在一块显卡上一直留在上下文里
本地 AI 爱好者只有一块消费级 GPU 的玩家不换更大的显卡也能以长上下文运行 27B 模型RTX 5070 Ti 达到了 135,168 个词元

用在哪里

  • llama.cpp 工具,比如 llama-cli,运行在 Windows、macOS 或 Linux 上
  • 16 GB 显存的显卡,作者测试的是 RTX 5070 Ti
  • 系统内存足够放下嵌入表的电脑
  • 显存更大的显卡,上下文上限会往上移
Use caseWhoWhat they get back
长提示词对话本地模型用户在 16 GB 显卡上最多 135,168 个词元的可用上下文
用 MTP 加快解码能接受更短上下文的用户在最多 77,824 个词元下,解码约快 1.8x
代码和英文文本工作开发者对 ASCII 文本,分词输出与基础模型相同

如何设置

你需要 llama.cpp 和一块 16 GB 显存的显卡。

  • 带有 llama-cli 的 llama.cpp 构建
  • 一块 16 GB 显卡,因为上下文上限就是在这样的显卡上测的
  • Python,用来通过 Hugging Face 工具获取文件
  1. 用 Python 安装 Hugging Face 工具。
  2. 用下面的第二条命令下载模型文件。
  3. 确认你的 llama.cpp 构建是官方版本,如果想用混合缓存类型,就要用打过补丁的版本。
  4. 用快速开始里的参数运行 llama-cli。
pip install -U huggingface_hub
hf download bsaleh03/Qwen3.8-27B-ASCII-Condensed

模型卡里的快速开始命令:

llama-cli -m Qwen3.8-27B-ASCII-Condensed-UD-IQ4_XS.gguf \
  -ngl 99 -fa on -ctk q4_0 -ctv q4_0 \
  -ot "token_embd.weight=CPU" \
  -c 135168 -ub 128 -b 512

如何使用

运行快速开始命令,然后像使用其他 llama.cpp 模型一样聊天或输入提示词。嵌入表留在系统内存里,这大约会拖慢 1% 的解码速度,却能腾出它在显卡上占用的全部空间。

ToolWhat it does
-ot token_embd.weight=CPU把嵌入表留在系统内存里
-ctk and -ctv设置缓存类型,在官方构建上两者必须一致
-c设置上下文大小,快速开始里是 135168
--spec-type draft-mtp开启 MTP 推测解码,在更小的上下文下约快 1.8x

使用 MTP 时,加上这些参数:

--spec-type draft-mtp --spec-draft-n-max 3 -ctkd q4_0 -ctvd q4_0

示例

你在 16 GB 显卡上运行快速开始命令,并发送一个大约 15K 词元深的提示词。作者测得此时解码接近每秒 47.3 个词元,到 90K 时接近 33.1,因为缓存越满解码越慢。

新手与专家

把它想成同一个 27B 模型,只是词典里用不到的部分被去掉了,腾出的空间可以装下更长的对话。第一件事是用短提示词运行快速开始命令,然后再试更长的。

在底层,词元嵌入和输出这两个张量里的非 ASCII 行被移除,分词器也被改写成与之匹配。词表从 248,320 行缩小到 129,006 行,866 个张量中有 864 个与基础量化版本逐位一致。嵌入是一次取行操作,而输出头每个词元都要遍历整个词表,所以把两者都缩小就能为 KV 缓存腾出显存。代价是非 ASCII 文本要多花词元。

  1. 从 UD-IQ4_XS 量化版本出发
  2. 从两个张量里删掉非 ASCII 行
  3. 改写分词器与之匹配
  4. 腾出的显存变成 KV 缓存
  5. 16 GB 显卡上能装下更长上下文

注意事项

上下文上限取决于你选的缓存类型,它们是在 16 GB 显卡上用大约 15K 词元的真实提示词测出来的。

不同缓存类型的最大上下文
q4_0 + q4_0135168 tokens
q5_1 + q4_0118784 tokens
q8_0 + q4_098304 tokens
q8_0 + q8_077824 tokens
RTX 5070 Ti 上 q4_0 和 q4_0 的速度
Prompt depthPrefillDecode
15K1,501 t/s47.3 t/s
90K930 t/s33.1 t/s
非 ASCII 文本的词元成本
TextCost
英文、代码、ASCII 标点不变
不带重音的拉丁文字不变
带重音的拉丁字母每个带重音的字符约 2 个词元
CJK、西里尔文、阿拉伯文、泰文每个字符约 3 个词元
  • Text only: 没有附带 mmproj 文件,视觉功能也没有测试过
  • Mixed cache types: 它们需要打过补丁的 llama.cpp,在官方构建上类型不一致会悄悄关闭 flash attention,并让预填充慢大约 37 倍
  • MTP draft model: 它有自己的缓存,默认是 f16,所以要自己传 -ctkd 和 -ctvd
  • Not retrained: 它只是裁剪现有量化版本的词表,没有蒸馏,也没有新的量化步骤
  • License: Apache 2.0,沿用基础模型的许可,并附有 LICENSE 文件
  • Cost to run: 没有提到,但上限是用 16 GB 显卡测出来的
  • Data it reaches: 没有提到,因为它是本地模型文件
  • Not for: 主要用非英语语言的工作,或图像输入

README 和文件

README

Qwen3.8-27B-ASCII-Condensed

把 Qwen3.8-27B 的词表裁剪到只剩 ASCII,让一块 16 GB 显卡就能装下长得多的提示词。这是供 llama.cpp 使用的 GGUF 版本,适合英文文本和代码。

由 bsaleh03 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么:Qwen3.8-27B-ASCII-Condensed 是 Qwen3.8-27B 的 GGUF 版本,词表只保留 ASCII 词元,因此 16 GB 显卡上有更多空间留给长上下文。在 RTX 5070 Ti 上,作者达到了 135,168 个词元的上下文,而同样量化但不做裁剪的版本只能做到 114,688。没有任何权重被重新训练或重新量化。

适合谁:如果你用 llama.cpp 在一块 16 GB 显卡上运行大型本地模型,并且需要为英文文本或代码准备很长的提示词窗口,它很适合你。主要使用其他语言的人应该另选别的。

Industry | Who uses it | How they use it | Example
软件开发 | 运行本地编程助手的开发者 | 把很长的文件放进提示词 | 在作者的测试中,16 GB 显卡上最多能装下 135,168 个词元
研究与写作 | 用英文工作的分析师 | 在自己的机器上向长文档提问 | 一份长文档能在一块显卡上一直留在上下文里
本地 AI 爱好者 | 只有一块消费级 GPU 的玩家 | 不换更大的显卡也能以长上下文运行 27B 模型 | RTX 5070 Ti 达到了 135,168 个词元

用在哪里:

  • llama.cpp 工具,比如 llama-cli,运行在 Windows、macOS 或 Linux 上
  • 16 GB 显存的显卡,作者测试的是 RTX 5070 Ti
  • 系统内存足够放下嵌入表的电脑
  • 显存更大的显卡,上下文上限会往上移
Use case | Who | What they get back
长提示词对话 | 本地模型用户 | 在 16 GB 显卡上最多 135,168 个词元的可用上下文
用 MTP 加快解码 | 能接受更短上下文的用户 | 在最多 77,824 个词元下,解码约快 1.8x
代码和英文文本工作 | 开发者 | 对 ASCII 文本,分词输出与基础模型相同

如何设置:你需要 llama.cpp 和一块 16 GB 显存的显卡。

  • 带有 llama-cli 的 llama.cpp 构建
  • 一块 16 GB 显卡,因为上下文上限就是在这样的显卡上测的
  • Python,用来通过 Hugging Face 工具获取文件
  1. 用 Python 安装 Hugging Face 工具。
  2. 用下面的第二条命令下载模型文件。
  3. 确认你的 llama.cpp 构建是官方版本,如果想用混合缓存类型,就要用打过补丁的版本。
  4. 用快速开始里的参数运行 llama-cli。
pip install -U huggingface_hub
hf download bsaleh03/Qwen3.8-27B-ASCII-Condensed

模型卡里的快速开始命令:

llama-cli -m Qwen3.8-27B-ASCII-Condensed-UD-IQ4_XS.gguf \
  -ngl 99 -fa on -ctk q4_0 -ctv q4_0 \
  -ot "token_embd.weight=CPU" \
  -c 135168 -ub 128 -b 512

如何使用:运行快速开始命令,然后像使用其他 llama.cpp 模型一样聊天或输入提示词。嵌入表留在系统内存里,这大约会拖慢 1% 的解码速度,却能腾出它在显卡上占用的全部空间。

Tool | What it does
-ot token_embd.weight=CPU | 把嵌入表留在系统内存里
-ctk and -ctv | 设置缓存类型,在官方构建上两者必须一致
-c | 设置上下文大小,快速开始里是 135168
--spec-type draft-mtp | 开启 MTP 推测解码,在更小的上下文下约快 1.8x

使用 MTP 时,加上这些参数:

--spec-type draft-mtp --spec-draft-n-max 3 -ctkd q4_0 -ctvd q4_0

示例:你在 16 GB 显卡上运行快速开始命令,并发送一个大约 15K 词元深的提示词。作者测得此时解码接近每秒 47.3 个词元,到 90K 时接近 33.1,因为缓存越满解码越慢。

新手与专家:把它想成同一个 27B 模型,只是词典里用不到的部分被去掉了,腾出的空间可以装下更长的对话。第一件事是用短提示词运行快速开始命令,然后再试更长的。

在底层,词元嵌入和输出这两个张量里的非 ASCII 行被移除,分词器也被改写成与之匹配。词表从 248,320 行缩小到 129,006 行,866 个张量中有 864 个与基础量化版本逐位一致。嵌入是一次取行操作,而输出头每个词元都要遍历整个词表,所以把两者都缩小就能为 KV 缓存腾出显存。代价是非 ASCII 文本要多花词元。

从 UD-IQ4_XS 量化版本出发
从两个张量里删掉非 ASCII 行
改写分词器与之匹配
腾出的显存变成 KV 缓存
16 GB 显卡上能装下更长上下文

注意事项:上下文上限取决于你选的缓存类型,它们是在 16 GB 显卡上用大约 15K 词元的真实提示词测出来的。

Title: 不同缓存类型的最大上下文
q4_0 + q4_0: 135168 tokens
q5_1 + q4_0: 118784 tokens
q8_0 + q4_0: 98304 tokens
q8_0 + q8_0: 77824 tokens
Title: RTX 5070 Ti 上 q4_0 和 q4_0 的速度
Prompt depth | Prefill | Decode
15K | 1,501 t/s | 47.3 t/s
90K | 930 t/s | 33.1 t/s
Title: 非 ASCII 文本的词元成本
Text | Cost
英文、代码、ASCII 标点 | 不变
不带重音的拉丁文字 | 不变
带重音的拉丁字母 | 每个带重音的字符约 2 个词元
CJK、西里尔文、阿拉伯文、泰文 | 每个字符约 3 个词元
  • Text only: 没有附带 mmproj 文件,视觉功能也没有测试过
  • Mixed cache types: 它们需要打过补丁的 llama.cpp,在官方构建上类型不一致会悄悄关闭 flash attention,并让预填充慢大约 37 倍
  • MTP draft model: 它有自己的缓存,默认是 f16,所以要自己传 -ctkd 和 -ctvd
  • Not retrained: 它只是裁剪现有量化版本的词表,没有蒸馏,也没有新的量化步骤
  • License: Apache 2.0,沿用基础模型的许可,并附有 LICENSE 文件
  • Cost to run: 没有提到,但上限是用 16 GB 显卡测出来的
  • Data it reaches: 没有提到,因为它是本地模型文件
  • Not for: 主要用非英语语言的工作,或图像输入

Hugging Face 上的数据(2026年11月16日)

  • 任务:text generation
  • 参数量:26.1B
  • Weights: about 13 GB at 4-bit (estimate)
  • Formats: GGUF
  • 最近 30 天下载:1,677
  • 点赞:35
  • 许可证:apache-2.0
  • 基于:Qwen/Qwen3.8-27B
  • 标签:gguf, qwen3, long-context, vocabulary-pruning, llama.cpp, text-generation, imatrix, conversational

链接

  • 模型:https://huggingface.co/bsaleh03/Qwen3.8-27B-ASCII-Condensed
  • 文件:https://huggingface.co/bsaleh03/Qwen3.8-27B-ASCII-Condensed/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件:

pip install -U huggingface_hub
hf download bsaleh03/Qwen3.8-27B-ASCII-Condensed

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。

文件
README.md  7 KB

1 个文件,共 7 KB,以 zip 压缩包下载。

更新内容

  • 第 1 版 · 2026-11-16

同类产品对比

同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。

产品最近 30 天下载点赞参数量许可证最近更新
Qwen3.8-27B-ASCII-Condensed 本页1,6773526.1Bapache-2.0
Sharp-Spark-X2.5-4B-GGUF共有 long-context · imatrix · llama.cpp875,3461644.1Bapache-2.0
Sharp-Spark-X2.6-4B-GGUF共有 long-context · imatrix · llama.cpp5,044234.1Bapache-2.0
Qwen3.8-27B-Ridge-GGUF共有 long-context · imatrix · llama.cpp292,93236927.3Bapache-2.0
MiniCPM5-2B-GGUF共有 long-context · llama.cpp · gguf481,1193932.5Bapache-2.0
Qwen3-30B-A3B-GGUF共有 qwen3 · imatrix · gguf53,66429430.5Bapache-2.0
数据为 Mindket 在 2026-11-12 至 2026-11-16 期间读取的数值。

评价

还没有评分

写评价

还没有评价。

Mindket 的更多商品

查看 Mindket 的全部商品

all-mpnet-base-v2

sentence-transformers · 工具包

把句子和段落变成 768 个数字组成的向量,用来按含义搜索、聚类和比较文本,适合处理英文的开发者和数据团队。

新上架

multilingual-e5-base

intfloat · 工具包

把约 100 种语言的文本变成向量,让你能跨语言比较含义,用于搜索和匹配。适合构建多语言检索的开发者。

新上架

sprite-gen

aldegad · 技能

把一张角色底图做成可直接进游戏的精灵图,输出带清单的图集或透明动作循环,适合在 Codex 或 Claude Code 里做游戏的开发者。

新上架4097

开发类的相似商品

查看开发类的全部商品

VibeSkills

foryourhealth111-pixel · 技能

从大量已安装的技能中挑出合适的,并把每个任务拆成可检查的步骤,交给你的编程智能体。在它自己的基准测试里,平均奖励提高了 21.12 个百分点,令牌用量下降了 29.6%。

新上架3821

claude-bughunter

elementalsouls · 技能

为 Claude Code 提供 83 个技能和 15 个斜杠命令,用于漏洞赏金和获得授权的红队工作,从网页漏洞类别到企业身份攻击,再到报告撰写。适合安全研究人员。

新上架6853

GLM-4.7-Flash-GGUF

axteam · 工具包

GLM-4.7-Flash 的四个 GGUF 量化版本,可在 llama.cpp 中本地运行一个 31B 级别的聊天模型,文件从 18.9 GB 到 33.2 GB。适合在自己硬件上托管模型的人。

新上架