Mindket

GLM-4.7-Flash-GGUF

新上架第 1 版 · 更新于

概览

GLM-4.7-Flash 的四个 GGUF 量化版本,可在 llama.cpp 中本地运行一个 31B 级别的聊天模型,文件从 18.9 GB 到 33.2 GB。适合在自己硬件上托管模型的人。

GLM-4.7-Flash-GGUF 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。

速览

你需要
  • b10251 或更新的 llama.cpp
  • 容纳一个 GGUF 文件加 KV 缓存的内存
  • Python 和 Hugging Face hub 工具,只在手动下载文件时需要
用在
  • llama.cpp:llama-server 和 llama-cli 程序
  • Ollama:模型卡给了运行命令,但说明没有在那里测试过
  • LM Studio:在它的模型浏览器里搜索仓库名称,作者同样没有测试过
先运行
pip install -U huggingface_hub
hf download axteam/GLM-4.7-Flash-GGUF GLM-4.7-Flash-Q4_K_M.gguf --local-dir .

平台

服务器可在其上运行

关于

它是什么

这个仓库存放 GLM-4.7-Flash 的 GGUF 文件,原模型来自 zai-org,由 axteam 制作。这些文件用 llama.cpp 做训练后量化,没有重新训练,每个文件都内置了原始的聊天模板。你可以挑一个适合自己硬件的大小。

适合谁

在自己电脑上运行聊天模型、想直接用现成 GGUF 文件而不想自己转换权重的人。

IndustryWho uses itHow they use itExample
软件开发者在本机提供 OpenAI 兼容的 API为正在开发的应用提供本地接口
科研研究者测试大型聊天模型,不把文字发给托管服务在私有服务器上提出一组问题
IT 团队自托管用户选一个适合现有内存的量化版本在空间足够的机器上用 Q4_K_M

如果你的磁盘或内存不多,可以跳过它,因为列出的最小文件也有 18.9 GB。

用在哪里

  • llama.cpp:llama-server 和 llama-cli 程序
  • Ollama:模型卡给了运行命令,但说明没有在那里测试过
  • LM Studio:在它的模型浏览器里搜索仓库名称,作者同样没有测试过
Use caseWhoWhat they get back
提供本地 API开发者8080 端口上的 OpenAI 兼容接口
在终端里聊天爱好者交互式会话里的回复
节省内存自托管用户通过运行时选项得到更小的 KV 缓存

如何设置

你需要编号为 b10251 或更新的 llama.cpp,因为这个模型架构需要它,还需要足够容纳所选文件加上上下文缓存的内存。

  • b10251 或更新的 llama.cpp
  • 容纳一个 GGUF 文件加 KV 缓存的内存
  • Python 和 Hugging Face hub 工具,只在手动下载文件时需要
  1. 选一个量化版本。模型卡推荐 Q4_K_M,在体积和质量之间比较平衡。
  2. 让 llama.cpp 从 Hub 拉取,或者自己下载一个文件。
pip install -U huggingface_hub
hf download axteam/GLM-4.7-Flash-GGUF GLM-4.7-Flash-Q4_K_M.gguf --local-dir .

如何使用

把模型作为 OpenAI 兼容的 API 提供出来,或者用下载好的文件在终端里聊天。jinja 选项让 llama.cpp 使用文件里存放的聊天模板。

llama-server -hf axteam/GLM-4.7-Flash-GGUF:Q4_K_M -c 8192 --jinja
llama-cli -m GLM-4.7-Flash-Q4_K_M.gguf -c 8192 --jinja

想缩小保存对话的缓存,可以在运行时设置缓存类型。

llama-server -hf axteam/GLM-4.7-Flash-GGUF:Q4_K_M -c 8192 --jinja --cache-type-k q8_0 --cache-type-v q8_0 -fa on
ToolWhat it does
llama-server把模型作为 OpenAI 兼容的 API 提供出来
llama-cli用下载好的文件在终端里聊天
-c设置上下文长度
--cache-type-k and --cache-type-v选择 KV 缓存类型,q8_0 加 -fa on 可让它缩小一半

示例

服务器运行后,你发一条消息,问韩国的首都是哪里。模型卡自己的检查就问过这类简短的问题,列出的每个文件都答对了。

新手与专家

如果你是新手,先用模型卡推荐的 Q4_K_M。运行 llama-cli 命令,问一个简短的问题,看看你的机器能不能应付。

如果你熟悉这个领域,这些是按块量化的 k-quant,每块有各自的缩放系数并混合分配位数,由 BF16 权重生成,没有重新训练。架构是 deepseek2 加一个 MTP 层。缓存类型在运行时选择,不存在文件里。模型卡建议 temperature 设为 1.0。

  1. 选一个适合你内存的量化版本
  2. 拉取或下载 GGUF 文件
  3. 启动 llama-server 或 llama-cli
  4. 发送聊天消息并阅读回复

注意事项

有两个文件后来被删除了。一个给出了作者无法解释的困惑度结果,另一个在聊天检查里用英文回答了韩语问题而没通过。作者没有公布困惑度数字。

各量化版本的文件大小,单位 GB
Q4_K_M18.9 GB
Q5_K_M22.2 GB
Q6_K25.7 GB
Q8_033.2 GB
  • License: MIT,沿用原版 GLM-4.7-Flash 模型的许可证
  • Cost to run: 没有提到
  • Data it reaches: 你从 Hugging Face 下载的文件,以及你输入到自己本地服务器里的文字
  • Not for: 文字以外的输入,因为模型卡只列出文字

README 和文件

README

GLM-4.7-Flash-GGUF

GLM-4.7-Flash 的四个 GGUF 量化版本,可在 llama.cpp 中本地运行一个 31B 级别的聊天模型,文件从 18.9 GB 到 33.2 GB。适合在自己硬件上托管模型的人。

由 axteam 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么:这个仓库存放 GLM-4.7-Flash 的 GGUF 文件,原模型来自 zai-org,由 axteam 制作。这些文件用 llama.cpp 做训练后量化,没有重新训练,每个文件都内置了原始的聊天模板。你可以挑一个适合自己硬件的大小。

适合谁:在自己电脑上运行聊天模型、想直接用现成 GGUF 文件而不想自己转换权重的人。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在本机提供 OpenAI 兼容的 API | 为正在开发的应用提供本地接口
科研 | 研究者 | 测试大型聊天模型,不把文字发给托管服务 | 在私有服务器上提出一组问题
IT 团队 | 自托管用户 | 选一个适合现有内存的量化版本 | 在空间足够的机器上用 Q4_K_M

如果你的磁盘或内存不多,可以跳过它,因为列出的最小文件也有 18.9 GB。

用在哪里:

  • llama.cpp:llama-server 和 llama-cli 程序
  • Ollama:模型卡给了运行命令,但说明没有在那里测试过
  • LM Studio:在它的模型浏览器里搜索仓库名称,作者同样没有测试过
Use case | Who | What they get back
提供本地 API | 开发者 | 8080 端口上的 OpenAI 兼容接口
在终端里聊天 | 爱好者 | 交互式会话里的回复
节省内存 | 自托管用户 | 通过运行时选项得到更小的 KV 缓存

如何设置:你需要编号为 b10251 或更新的 llama.cpp,因为这个模型架构需要它,还需要足够容纳所选文件加上上下文缓存的内存。

  • b10251 或更新的 llama.cpp
  • 容纳一个 GGUF 文件加 KV 缓存的内存
  • Python 和 Hugging Face hub 工具,只在手动下载文件时需要
  1. 选一个量化版本。模型卡推荐 Q4_K_M,在体积和质量之间比较平衡。
  2. 让 llama.cpp 从 Hub 拉取,或者自己下载一个文件。
pip install -U huggingface_hub
hf download axteam/GLM-4.7-Flash-GGUF GLM-4.7-Flash-Q4_K_M.gguf --local-dir .

如何使用:把模型作为 OpenAI 兼容的 API 提供出来,或者用下载好的文件在终端里聊天。jinja 选项让 llama.cpp 使用文件里存放的聊天模板。

llama-server -hf axteam/GLM-4.7-Flash-GGUF:Q4_K_M -c 8192 --jinja
llama-cli -m GLM-4.7-Flash-Q4_K_M.gguf -c 8192 --jinja

想缩小保存对话的缓存,可以在运行时设置缓存类型。

llama-server -hf axteam/GLM-4.7-Flash-GGUF:Q4_K_M -c 8192 --jinja --cache-type-k q8_0 --cache-type-v q8_0 -fa on
Tool | What it does
llama-server | 把模型作为 OpenAI 兼容的 API 提供出来
llama-cli | 用下载好的文件在终端里聊天
-c | 设置上下文长度
--cache-type-k and --cache-type-v | 选择 KV 缓存类型,q8_0 加 -fa on 可让它缩小一半

示例:服务器运行后,你发一条消息,问韩国的首都是哪里。模型卡自己的检查就问过这类简短的问题,列出的每个文件都答对了。

新手与专家:如果你是新手,先用模型卡推荐的 Q4_K_M。运行 llama-cli 命令,问一个简短的问题,看看你的机器能不能应付。

如果你熟悉这个领域,这些是按块量化的 k-quant,每块有各自的缩放系数并混合分配位数,由 BF16 权重生成,没有重新训练。架构是 deepseek2 加一个 MTP 层。缓存类型在运行时选择,不存在文件里。模型卡建议 temperature 设为 1.0。

选一个适合你内存的量化版本
拉取或下载 GGUF 文件
启动 llama-server 或 llama-cli
发送聊天消息并阅读回复

注意事项:有两个文件后来被删除了。一个给出了作者无法解释的困惑度结果,另一个在聊天检查里用英文回答了韩语问题而没通过。作者没有公布困惑度数字。

Title: 各量化版本的文件大小,单位 GB
Q4_K_M: 18.9 GB
Q5_K_M: 22.2 GB
Q6_K: 25.7 GB
Q8_0: 33.2 GB
  • License: MIT,沿用原版 GLM-4.7-Flash 模型的许可证
  • Cost to run: 没有提到
  • Data it reaches: 你从 Hugging Face 下载的文件,以及你输入到自己本地服务器里的文字
  • Not for: 文字以外的输入,因为模型卡只列出文字

Hugging Face 上的数据(2026年11月16日)

  • 任务:text generation
  • 框架:gguf
  • 参数量:31.2B
  • Weights: about 15.6 GB at 4-bit (estimate)
  • Formats: GGUF
  • 最近 30 天下载:14,654
  • 点赞:5
  • 许可证:mit
  • 基于:zai-org/GLM-4.7-Flash
  • 标签:gguf, llama.cpp, quantized, text-generation, conversational

链接

  • 模型:https://huggingface.co/axteam/GLM-4.7-Flash-GGUF
  • 文件:https://huggingface.co/axteam/GLM-4.7-Flash-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件:

pip install -U huggingface_hub
hf download axteam/GLM-4.7-Flash-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。

文件
README.md  5 KB

1 个文件,共 5 KB,以 zip 压缩包下载。

更新内容

  • 第 1 版 · 2026-11-16

同类产品对比

同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。

产品最近 30 天下载点赞参数量许可证最近更新
GLM-4.7-Flash-GGUF 本页14,654531.2Bmit
Qwen3.8-35B-A3B-Distill-GGUF共有 llama.cpp · quantized · gguf1,337,09727735.5Bapache-2.0
Qwen3.8-4B-Distill-GGUF共有 llama.cpp · quantized · gguf570,9742084.3Bapache-2.0
Qwen3.8-9B-Distill-GGUF共有 llama.cpp · quantized · gguf537,6953569.2Bapache-2.0
Qwen3.8-2B-Distill-GGUF共有 llama.cpp · quantized · gguf509,8201841.9Bapache-2.0
Mellum2.1-12B-A2.5B-Thinking-GGUF共有 llama.cpp · quantized · gguf422,63517212.1Bapache-2.0
数据为 Mindket 在 2026-11-12 至 2026-11-16 期间读取的数值。

评价

还没有评分

写评价

还没有评价。

Mindket 的更多商品

查看 Mindket 的全部商品

all-mpnet-base-v2

sentence-transformers · 工具包

把句子和段落变成 768 个数字组成的向量,用来按含义搜索、聚类和比较文本,适合处理英文的开发者和数据团队。

新上架

multilingual-e5-base

intfloat · 工具包

把约 100 种语言的文本变成向量,让你能跨语言比较含义,用于搜索和匹配。适合构建多语言检索的开发者。

新上架

sprite-gen

aldegad · 技能

把一张角色底图做成可直接进游戏的精灵图,输出带清单的图集或透明动作循环,适合在 Codex 或 Claude Code 里做游戏的开发者。

新上架4097

开发类的相似商品

查看开发类的全部商品

VibeSkills

foryourhealth111-pixel · 技能

从大量已安装的技能中挑出合适的,并把每个任务拆成可检查的步骤,交给你的编程智能体。在它自己的基准测试里,平均奖励提高了 21.12 个百分点,令牌用量下降了 29.6%。

新上架3821

claude-bughunter

elementalsouls · 技能

为 Claude Code 提供 83 个技能和 15 个斜杠命令,用于漏洞赏金和获得授权的红队工作,从网页漏洞类别到企业身份攻击,再到报告撰写。适合安全研究人员。

新上架6853

Qwen3.8-27B-ASCII-Condensed

bsaleh03 · 工具包

把 Qwen3.8-27B 的词表裁剪到只剩 ASCII,让一块 16 GB 显卡就能装下长得多的提示词。这是供 llama.cpp 使用的 GGUF 版本,适合英文文本和代码。

新上架