all-mpnet-base-v2
sentence-transformers · 工具包
把句子和段落变成 768 个数字组成的向量,用来按含义搜索、聚类和比较文本,适合处理英文的开发者和数据团队。
GLM-4.7-Flash 的四个 GGUF 量化版本,可在 llama.cpp 中本地运行一个 31B 级别的聊天模型,文件从 18.9 GB 到 33.2 GB。适合在自己硬件上托管模型的人。
GLM-4.7-Flash-GGUF 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download axteam/GLM-4.7-Flash-GGUF GLM-4.7-Flash-Q4_K_M.gguf --local-dir .
这个仓库存放 GLM-4.7-Flash 的 GGUF 文件,原模型来自 zai-org,由 axteam 制作。这些文件用 llama.cpp 做训练后量化,没有重新训练,每个文件都内置了原始的聊天模板。你可以挑一个适合自己硬件的大小。
在自己电脑上运行聊天模型、想直接用现成 GGUF 文件而不想自己转换权重的人。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 软件 | 开发者 | 在本机提供 OpenAI 兼容的 API | 为正在开发的应用提供本地接口 |
| 科研 | 研究者 | 测试大型聊天模型,不把文字发给托管服务 | 在私有服务器上提出一组问题 |
| IT 团队 | 自托管用户 | 选一个适合现有内存的量化版本 | 在空间足够的机器上用 Q4_K_M |
如果你的磁盘或内存不多,可以跳过它,因为列出的最小文件也有 18.9 GB。
| Use case | Who | What they get back |
|---|---|---|
| 提供本地 API | 开发者 | 8080 端口上的 OpenAI 兼容接口 |
| 在终端里聊天 | 爱好者 | 交互式会话里的回复 |
| 节省内存 | 自托管用户 | 通过运行时选项得到更小的 KV 缓存 |
你需要编号为 b10251 或更新的 llama.cpp,因为这个模型架构需要它,还需要足够容纳所选文件加上上下文缓存的内存。
pip install -U huggingface_hub hf download axteam/GLM-4.7-Flash-GGUF GLM-4.7-Flash-Q4_K_M.gguf --local-dir .
把模型作为 OpenAI 兼容的 API 提供出来,或者用下载好的文件在终端里聊天。jinja 选项让 llama.cpp 使用文件里存放的聊天模板。
llama-server -hf axteam/GLM-4.7-Flash-GGUF:Q4_K_M -c 8192 --jinja llama-cli -m GLM-4.7-Flash-Q4_K_M.gguf -c 8192 --jinja
想缩小保存对话的缓存,可以在运行时设置缓存类型。
llama-server -hf axteam/GLM-4.7-Flash-GGUF:Q4_K_M -c 8192 --jinja --cache-type-k q8_0 --cache-type-v q8_0 -fa on
| Tool | What it does |
|---|---|
| llama-server | 把模型作为 OpenAI 兼容的 API 提供出来 |
| llama-cli | 用下载好的文件在终端里聊天 |
| -c | 设置上下文长度 |
| --cache-type-k and --cache-type-v | 选择 KV 缓存类型,q8_0 加 -fa on 可让它缩小一半 |
服务器运行后,你发一条消息,问韩国的首都是哪里。模型卡自己的检查就问过这类简短的问题,列出的每个文件都答对了。
如果你是新手,先用模型卡推荐的 Q4_K_M。运行 llama-cli 命令,问一个简短的问题,看看你的机器能不能应付。
如果你熟悉这个领域,这些是按块量化的 k-quant,每块有各自的缩放系数并混合分配位数,由 BF16 权重生成,没有重新训练。架构是 deepseek2 加一个 MTP 层。缓存类型在运行时选择,不存在文件里。模型卡建议 temperature 设为 1.0。
有两个文件后来被删除了。一个给出了作者无法解释的困惑度结果,另一个在聊天检查里用英文回答了韩语问题而没通过。作者没有公布困惑度数字。
GLM-4.7-Flash 的四个 GGUF 量化版本,可在 llama.cpp 中本地运行一个 31B 级别的聊天模型,文件从 18.9 GB 到 33.2 GB。适合在自己硬件上托管模型的人。
由 axteam 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:这个仓库存放 GLM-4.7-Flash 的 GGUF 文件,原模型来自 zai-org,由 axteam 制作。这些文件用 llama.cpp 做训练后量化,没有重新训练,每个文件都内置了原始的聊天模板。你可以挑一个适合自己硬件的大小。
适合谁:在自己电脑上运行聊天模型、想直接用现成 GGUF 文件而不想自己转换权重的人。
Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在本机提供 OpenAI 兼容的 API | 为正在开发的应用提供本地接口
科研 | 研究者 | 测试大型聊天模型,不把文字发给托管服务 | 在私有服务器上提出一组问题
IT 团队 | 自托管用户 | 选一个适合现有内存的量化版本 | 在空间足够的机器上用 Q4_K_M
如果你的磁盘或内存不多,可以跳过它,因为列出的最小文件也有 18.9 GB。
用在哪里:
Use case | Who | What they get back
提供本地 API | 开发者 | 8080 端口上的 OpenAI 兼容接口
在终端里聊天 | 爱好者 | 交互式会话里的回复
节省内存 | 自托管用户 | 通过运行时选项得到更小的 KV 缓存
如何设置:你需要编号为 b10251 或更新的 llama.cpp,因为这个模型架构需要它,还需要足够容纳所选文件加上上下文缓存的内存。
pip install -U huggingface_hub
hf download axteam/GLM-4.7-Flash-GGUF GLM-4.7-Flash-Q4_K_M.gguf --local-dir .
如何使用:把模型作为 OpenAI 兼容的 API 提供出来,或者用下载好的文件在终端里聊天。jinja 选项让 llama.cpp 使用文件里存放的聊天模板。
llama-server -hf axteam/GLM-4.7-Flash-GGUF:Q4_K_M -c 8192 --jinja
llama-cli -m GLM-4.7-Flash-Q4_K_M.gguf -c 8192 --jinja
想缩小保存对话的缓存,可以在运行时设置缓存类型。
llama-server -hf axteam/GLM-4.7-Flash-GGUF:Q4_K_M -c 8192 --jinja --cache-type-k q8_0 --cache-type-v q8_0 -fa on
Tool | What it does
llama-server | 把模型作为 OpenAI 兼容的 API 提供出来
llama-cli | 用下载好的文件在终端里聊天
-c | 设置上下文长度
--cache-type-k and --cache-type-v | 选择 KV 缓存类型,q8_0 加 -fa on 可让它缩小一半
示例:服务器运行后,你发一条消息,问韩国的首都是哪里。模型卡自己的检查就问过这类简短的问题,列出的每个文件都答对了。
新手与专家:如果你是新手,先用模型卡推荐的 Q4_K_M。运行 llama-cli 命令,问一个简短的问题,看看你的机器能不能应付。
如果你熟悉这个领域,这些是按块量化的 k-quant,每块有各自的缩放系数并混合分配位数,由 BF16 权重生成,没有重新训练。架构是 deepseek2 加一个 MTP 层。缓存类型在运行时选择,不存在文件里。模型卡建议 temperature 设为 1.0。
选一个适合你内存的量化版本
拉取或下载 GGUF 文件
启动 llama-server 或 llama-cli
发送聊天消息并阅读回复
注意事项:有两个文件后来被删除了。一个给出了作者无法解释的困惑度结果,另一个在聊天检查里用英文回答了韩语问题而没通过。作者没有公布困惑度数字。
Title: 各量化版本的文件大小,单位 GB
Q4_K_M: 18.9 GB
Q5_K_M: 22.2 GB
Q6_K: 25.7 GB
Q8_0: 33.2 GB
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download axteam/GLM-4.7-Flash-GGUF
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| GLM-4.7-Flash-GGUF 本页 | 14,654 | 5 | 31.2B | mit | |
| Qwen3.8-35B-A3B-Distill-GGUF共有 llama.cpp · quantized · gguf | 1,337,097 | 277 | 35.5B | apache-2.0 | |
| Qwen3.8-4B-Distill-GGUF共有 llama.cpp · quantized · gguf | 570,974 | 208 | 4.3B | apache-2.0 | |
| Qwen3.8-9B-Distill-GGUF共有 llama.cpp · quantized · gguf | 537,695 | 356 | 9.2B | apache-2.0 | |
| Qwen3.8-2B-Distill-GGUF共有 llama.cpp · quantized · gguf | 509,820 | 184 | 1.9B | apache-2.0 | |
| Mellum2.1-12B-A2.5B-Thinking-GGUF共有 llama.cpp · quantized · gguf | 422,635 | 172 | 12.1B | apache-2.0 |
sentence-transformers · 工具包
把句子和段落变成 768 个数字组成的向量,用来按含义搜索、聚类和比较文本,适合处理英文的开发者和数据团队。
intfloat · 工具包
把约 100 种语言的文本变成向量,让你能跨语言比较含义,用于搜索和匹配。适合构建多语言检索的开发者。
aldegad · 技能
把一张角色底图做成可直接进游戏的精灵图,输出带清单的图集或透明动作循环,适合在 Codex 或 Claude Code 里做游戏的开发者。
foryourhealth111-pixel · 技能
从大量已安装的技能中挑出合适的,并把每个任务拆成可检查的步骤,交给你的编程智能体。在它自己的基准测试里,平均奖励提高了 21.12 个百分点,令牌用量下降了 29.6%。
elementalsouls · 技能
为 Claude Code 提供 83 个技能和 15 个斜杠命令,用于漏洞赏金和获得授权的红队工作,从网页漏洞类别到企业身份攻击,再到报告撰写。适合安全研究人员。
bsaleh03 · 工具包
把 Qwen3.8-27B 的词表裁剪到只剩 ASCII,让一块 16 GB 显卡就能装下长得多的提示词。这是供 llama.cpp 使用的 GGUF 版本,适合英文文本和代码。