MiMo-V2.6-Distill-Qwen-9B-GSQ-RCO-GGUF
sainez · 工具包
把一个 9B 的编程和工具调用模型做成一个 3.64 GiB 的 GGUF 文件,以约 3.5 比特每权重量化,方便在你自己的机器上运行。
sainez · 工具包
把一个 9B 的编程和工具调用模型做成一个 3.64 GiB 的 GGUF 文件,以约 3.5 比特每权重量化,方便在你自己的机器上运行。
OliviaRossi · 工具包
以混合精度 GGUF 文件运行 26.9B 参数的 SenseNova-6.8-Code2Video 模型,可在终端聊天或启动本地服务。适合想在自己硬件上使用该模型的人。
Joakimpalm-Zen · 工具包
把 Qwen3.8-27B 压成重新训练过缩放值的 3 位 IQ3_S GGUF。这是给研究量化的人用的研究文件,不是原模型的忠实替身。
pentacoxian-dev · 工具包
在一块 24 GB 的 GPU 上,以 262K token 的上下文和图片输入运行带稀疏注意力的 Qwen3.8-27B,是 GGUF 文件,适合有定制版 llama.cpp 引擎的人。
pfeifferj · 工具包
把 Ornith-1.5-35B-A3B 文本模型压缩成 3 位和 3.5 位的 GGUF 文件,约 13 GB 和 15 GB,而不是 69 GB,适合用 llama.cpp 运行本地模型的人。
ISTA-DASLab · 工具包
DeepSeek-V4.1-Flash-1017 的 GGUF 版本,有三种很小的尺寸,每个张量用各自的精度量化,适合在有限硬件上运行超大混合专家模型的人。
ISTA-DASLab · 工具包
Qwen3.8-Flash-Next 的偏编程 GGUF 版本,去掉了一半专家,把 BF16 的 354 GB 缩到 58.4 GB,同时保留图片输入,适合有大机器、想在本地用编程模型的人。
ISTA-DASLab · 工具包
Qwen3.8-Flash-Next 的 GGUF 版本,有四种大小,每个张量用各自的精度量化,并带有支持图片输入的视觉投影文件,适合在本地运行大型混合专家模型的人。
ISTA-DASLab · 工具包
ISTA-DASLab 制作的 DeepSeek-V4.1-Flash-1017 专家剪枝加量化的 GGUF 版本,面向代码和智能体工作,transformer 权重为 72.1 GB。适合有大内存机器的开发者。
ISTA-DASLab · 工具包
ISTA-DASLab 制作的 Qwen3.8-27B GGUF 版本,共四种大小,每个张量用各自的精度量化,并带有处理图片的视觉投影文件。适合在 llama.cpp、Ollama 或 LM Studio 里本地运行模型的人。