all-mpnet-base-v2
sentence-transformers · 工具包
把句子和段落变成 768 个数字组成的向量,用来按含义搜索、聚类和比较文本,适合处理英文的开发者和数据团队。
把 Qwen3.8-27B 的词表裁剪到只剩 ASCII,让一块 16 GB 显卡就能装下长得多的提示词。这是供 llama.cpp 使用的 GGUF 版本,适合英文文本和代码。
Qwen3.8-27B-ASCII-Condensed 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download bsaleh03/Qwen3.8-27B-ASCII-Condensed
Qwen3.8-27B-ASCII-Condensed 是 Qwen3.8-27B 的 GGUF 版本,词表只保留 ASCII 词元,因此 16 GB 显卡上有更多空间留给长上下文。在 RTX 5070 Ti 上,作者达到了 135,168 个词元的上下文,而同样量化但不做裁剪的版本只能做到 114,688。没有任何权重被重新训练或重新量化。
如果你用 llama.cpp 在一块 16 GB 显卡上运行大型本地模型,并且需要为英文文本或代码准备很长的提示词窗口,它很适合你。主要使用其他语言的人应该另选别的。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 软件开发 | 运行本地编程助手的开发者 | 把很长的文件放进提示词 | 在作者的测试中,16 GB 显卡上最多能装下 135,168 个词元 |
| 研究与写作 | 用英文工作的分析师 | 在自己的机器上向长文档提问 | 一份长文档能在一块显卡上一直留在上下文里 |
| 本地 AI 爱好者 | 只有一块消费级 GPU 的玩家 | 不换更大的显卡也能以长上下文运行 27B 模型 | RTX 5070 Ti 达到了 135,168 个词元 |
| Use case | Who | What they get back |
|---|---|---|
| 长提示词对话 | 本地模型用户 | 在 16 GB 显卡上最多 135,168 个词元的可用上下文 |
| 用 MTP 加快解码 | 能接受更短上下文的用户 | 在最多 77,824 个词元下,解码约快 1.8x |
| 代码和英文文本工作 | 开发者 | 对 ASCII 文本,分词输出与基础模型相同 |
你需要 llama.cpp 和一块 16 GB 显存的显卡。
pip install -U huggingface_hub hf download bsaleh03/Qwen3.8-27B-ASCII-Condensed
模型卡里的快速开始命令:
llama-cli -m Qwen3.8-27B-ASCII-Condensed-UD-IQ4_XS.gguf \ -ngl 99 -fa on -ctk q4_0 -ctv q4_0 \ -ot "token_embd.weight=CPU" \ -c 135168 -ub 128 -b 512
运行快速开始命令,然后像使用其他 llama.cpp 模型一样聊天或输入提示词。嵌入表留在系统内存里,这大约会拖慢 1% 的解码速度,却能腾出它在显卡上占用的全部空间。
| Tool | What it does |
|---|---|
| -ot token_embd.weight=CPU | 把嵌入表留在系统内存里 |
| -ctk and -ctv | 设置缓存类型,在官方构建上两者必须一致 |
| -c | 设置上下文大小,快速开始里是 135168 |
| --spec-type draft-mtp | 开启 MTP 推测解码,在更小的上下文下约快 1.8x |
使用 MTP 时,加上这些参数:
--spec-type draft-mtp --spec-draft-n-max 3 -ctkd q4_0 -ctvd q4_0
你在 16 GB 显卡上运行快速开始命令,并发送一个大约 15K 词元深的提示词。作者测得此时解码接近每秒 47.3 个词元,到 90K 时接近 33.1,因为缓存越满解码越慢。
把它想成同一个 27B 模型,只是词典里用不到的部分被去掉了,腾出的空间可以装下更长的对话。第一件事是用短提示词运行快速开始命令,然后再试更长的。
在底层,词元嵌入和输出这两个张量里的非 ASCII 行被移除,分词器也被改写成与之匹配。词表从 248,320 行缩小到 129,006 行,866 个张量中有 864 个与基础量化版本逐位一致。嵌入是一次取行操作,而输出头每个词元都要遍历整个词表,所以把两者都缩小就能为 KV 缓存腾出显存。代价是非 ASCII 文本要多花词元。
上下文上限取决于你选的缓存类型,它们是在 16 GB 显卡上用大约 15K 词元的真实提示词测出来的。
| Prompt depth | Prefill | Decode |
|---|---|---|
| 15K | 1,501 t/s | 47.3 t/s |
| 90K | 930 t/s | 33.1 t/s |
| Text | Cost |
|---|---|
| 英文、代码、ASCII 标点 | 不变 |
| 不带重音的拉丁文字 | 不变 |
| 带重音的拉丁字母 | 每个带重音的字符约 2 个词元 |
| CJK、西里尔文、阿拉伯文、泰文 | 每个字符约 3 个词元 |
把 Qwen3.8-27B 的词表裁剪到只剩 ASCII,让一块 16 GB 显卡就能装下长得多的提示词。这是供 llama.cpp 使用的 GGUF 版本,适合英文文本和代码。
由 bsaleh03 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Qwen3.8-27B-ASCII-Condensed 是 Qwen3.8-27B 的 GGUF 版本,词表只保留 ASCII 词元,因此 16 GB 显卡上有更多空间留给长上下文。在 RTX 5070 Ti 上,作者达到了 135,168 个词元的上下文,而同样量化但不做裁剪的版本只能做到 114,688。没有任何权重被重新训练或重新量化。
适合谁:如果你用 llama.cpp 在一块 16 GB 显卡上运行大型本地模型,并且需要为英文文本或代码准备很长的提示词窗口,它很适合你。主要使用其他语言的人应该另选别的。
Industry | Who uses it | How they use it | Example
软件开发 | 运行本地编程助手的开发者 | 把很长的文件放进提示词 | 在作者的测试中,16 GB 显卡上最多能装下 135,168 个词元
研究与写作 | 用英文工作的分析师 | 在自己的机器上向长文档提问 | 一份长文档能在一块显卡上一直留在上下文里
本地 AI 爱好者 | 只有一块消费级 GPU 的玩家 | 不换更大的显卡也能以长上下文运行 27B 模型 | RTX 5070 Ti 达到了 135,168 个词元
用在哪里:
Use case | Who | What they get back
长提示词对话 | 本地模型用户 | 在 16 GB 显卡上最多 135,168 个词元的可用上下文
用 MTP 加快解码 | 能接受更短上下文的用户 | 在最多 77,824 个词元下,解码约快 1.8x
代码和英文文本工作 | 开发者 | 对 ASCII 文本,分词输出与基础模型相同
如何设置:你需要 llama.cpp 和一块 16 GB 显存的显卡。
pip install -U huggingface_hub
hf download bsaleh03/Qwen3.8-27B-ASCII-Condensed
模型卡里的快速开始命令:
llama-cli -m Qwen3.8-27B-ASCII-Condensed-UD-IQ4_XS.gguf \
-ngl 99 -fa on -ctk q4_0 -ctv q4_0 \
-ot "token_embd.weight=CPU" \
-c 135168 -ub 128 -b 512
如何使用:运行快速开始命令,然后像使用其他 llama.cpp 模型一样聊天或输入提示词。嵌入表留在系统内存里,这大约会拖慢 1% 的解码速度,却能腾出它在显卡上占用的全部空间。
Tool | What it does
-ot token_embd.weight=CPU | 把嵌入表留在系统内存里
-ctk and -ctv | 设置缓存类型,在官方构建上两者必须一致
-c | 设置上下文大小,快速开始里是 135168
--spec-type draft-mtp | 开启 MTP 推测解码,在更小的上下文下约快 1.8x
使用 MTP 时,加上这些参数:
--spec-type draft-mtp --spec-draft-n-max 3 -ctkd q4_0 -ctvd q4_0
示例:你在 16 GB 显卡上运行快速开始命令,并发送一个大约 15K 词元深的提示词。作者测得此时解码接近每秒 47.3 个词元,到 90K 时接近 33.1,因为缓存越满解码越慢。
新手与专家:把它想成同一个 27B 模型,只是词典里用不到的部分被去掉了,腾出的空间可以装下更长的对话。第一件事是用短提示词运行快速开始命令,然后再试更长的。
在底层,词元嵌入和输出这两个张量里的非 ASCII 行被移除,分词器也被改写成与之匹配。词表从 248,320 行缩小到 129,006 行,866 个张量中有 864 个与基础量化版本逐位一致。嵌入是一次取行操作,而输出头每个词元都要遍历整个词表,所以把两者都缩小就能为 KV 缓存腾出显存。代价是非 ASCII 文本要多花词元。
从 UD-IQ4_XS 量化版本出发
从两个张量里删掉非 ASCII 行
改写分词器与之匹配
腾出的显存变成 KV 缓存
16 GB 显卡上能装下更长上下文
注意事项:上下文上限取决于你选的缓存类型,它们是在 16 GB 显卡上用大约 15K 词元的真实提示词测出来的。
Title: 不同缓存类型的最大上下文
q4_0 + q4_0: 135168 tokens
q5_1 + q4_0: 118784 tokens
q8_0 + q4_0: 98304 tokens
q8_0 + q8_0: 77824 tokens
Title: RTX 5070 Ti 上 q4_0 和 q4_0 的速度
Prompt depth | Prefill | Decode
15K | 1,501 t/s | 47.3 t/s
90K | 930 t/s | 33.1 t/s
Title: 非 ASCII 文本的词元成本
Text | Cost
英文、代码、ASCII 标点 | 不变
不带重音的拉丁文字 | 不变
带重音的拉丁字母 | 每个带重音的字符约 2 个词元
CJK、西里尔文、阿拉伯文、泰文 | 每个字符约 3 个词元
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download bsaleh03/Qwen3.8-27B-ASCII-Condensed
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 7 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Qwen3.8-27B-ASCII-Condensed 本页 | 1,677 | 35 | 26.1B | apache-2.0 | |
| Sharp-Spark-X2.5-4B-GGUF共有 long-context · imatrix · llama.cpp | 875,346 | 164 | 4.1B | apache-2.0 | |
| Sharp-Spark-X2.6-4B-GGUF共有 long-context · imatrix · llama.cpp | 5,044 | 23 | 4.1B | apache-2.0 | |
| Qwen3.8-27B-Ridge-GGUF共有 long-context · imatrix · llama.cpp | 292,932 | 369 | 27.3B | apache-2.0 | |
| MiniCPM5-2B-GGUF共有 long-context · llama.cpp · gguf | 481,119 | 393 | 2.5B | apache-2.0 | |
| Qwen3-30B-A3B-GGUF共有 qwen3 · imatrix · gguf | 53,664 | 294 | 30.5B | apache-2.0 |
sentence-transformers · 工具包
把句子和段落变成 768 个数字组成的向量,用来按含义搜索、聚类和比较文本,适合处理英文的开发者和数据团队。
intfloat · 工具包
把约 100 种语言的文本变成向量,让你能跨语言比较含义,用于搜索和匹配。适合构建多语言检索的开发者。
aldegad · 技能
把一张角色底图做成可直接进游戏的精灵图,输出带清单的图集或透明动作循环,适合在 Codex 或 Claude Code 里做游戏的开发者。
foryourhealth111-pixel · 技能
从大量已安装的技能中挑出合适的,并把每个任务拆成可检查的步骤,交给你的编程智能体。在它自己的基准测试里,平均奖励提高了 21.12 个百分点,令牌用量下降了 29.6%。
elementalsouls · 技能
为 Claude Code 提供 83 个技能和 15 个斜杠命令,用于漏洞赏金和获得授权的红队工作,从网页漏洞类别到企业身份攻击,再到报告撰写。适合安全研究人员。
axteam · 工具包
GLM-4.7-Flash 的四个 GGUF 量化版本,可在 llama.cpp 中本地运行一个 31B 级别的聊天模型,文件从 18.9 GB 到 33.2 GB。适合在自己硬件上托管模型的人。