Kvark-Sparkle-1.0-27B-GGUF
Egzakta · 工具包
KVARK Sparkle 1.0 这个 27B 视觉语言模型的 GGUF 文件,适用于 llama.cpp、Ollama 和 LM Studio,保留了推测解码头。适合在本地运行大模型的人。
Egzakta · 工具包
KVARK Sparkle 1.0 这个 27B 视觉语言模型的 GGUF 文件,适用于 llama.cpp、Ollama 和 LM Studio,保留了推测解码头。适合在本地运行大模型的人。
byteshape · 工具包
用带多词元预测的 GGUF 量化版本运行 Qwen3.6-35B-A3B,在 llama.cpp 里让 GPU 解码更快。由 ByteShape 制作,适合在显卡上运行本地模型的人。
AQ-MedAI · 工具包
一个小型草稿模型,通过 SGLang 里的推测解码加速 Ling-3.1-Flash,每次草拟 5 个或 7 个 token。适合在 NVIDIA GPU 上部署 Ling-3.1-Flash 的团队。
zai-org · 工具包
zai-org 推出的 753B 参数开放文本模型,适合编程和智能体这类长链条多步工作,有 1M 词元上下文,采用 MIT 许可证。适合拥有大型 GPU 集群的团队。
YoSaNoo · 工具包
一个从 Google 的 gemma-4-E2B 微调而来的小型文本模型,偏向写代码,以 GGUF 文件发布,可在 Ollama、LM Studio、Unsloth 或 Jan 中在自己的笔记本上运行。
xtools-at · 工具包
用三个 Qwen3.8-27B 微调版本加权合并而成的模型,可编写和解释代码,也能处理推理问题。适合想用一个通用模型做编程和聊天的开发者。
XHToken · 工具包
一个小型草稿模型,通过推测解码加速 Spark-X2.6-1.7B,每步最多猜 7 个 token。适合在支持它的 llama.cpp 构建上本地运行该模型的人。
thinkingmachines · 工具包
Inkling-Small 的 NVFP4 版本,一个多模态混合专家模型,接收文本、图像和音频并输出文本。适合构建智能体、编程助手和其他 AI 应用的开发者。
Qwen · 工具包
编写、解释和修复代码,是 Qwen2.5-Coder 系列中最大的指令微调模型,32B 参数。适合想在自己硬件上运行强大开源编程模型的开发者。
Qwen · 工具包
提供 Qwen2.5-Coder 14B 指令模型的 GGUF 文件,有八种量化大小,可用 llama.cpp 辅助写代码。适合有好 GPU 或大内存机器、想要更强本地代码助手的开发者。
Qwen · 工具包
提供 Qwen2.5-Coder 1.5B 指令模型的 GGUF 文件,有八种量化大小,可用 llama.cpp 在笔记本上辅助写代码。适合想要轻量本地代码助手的开发者。
ornith-ai · 工具包
处理编程和终端任务,是一个适合单张 GPU 的 9B 稠密语言模型。适合想用小型开源模型做软件开发的开发者,另有面向手机的移动版本。
ornith-ai · 工具包
提供 Ornith-1.5-122B 的 NVFP4 量化副本,这是一个面向单 GPU 使用、在编程测试里表现突出的 122B 混合专家文本模型。适合自己托管大模型的开发者。
NaiveAI · 工具包
开放权重的混合专家模型,总参数 309B,激活 15.5B,原生 100 万 token 上下文,为编程和 AI 研究而构建。适合在自己服务器上运行大型编程模型的团队。
anik-jha · 工具包
用砍掉一半专家的 Qwen3.6-35B-A3B 写代码,打包成适用于 llama.cpp 的 GGUF 文件。适合想要比完整模型占用更少内存的编程模型的开发者。
XHToken · 工具包
作为推测解码的小型草稿模型,为 Spark-X2.6-4B 加速文本生成,提供 GGUF 格式。适合用 llama.cpp 在本地运行该模型的人。
XHToken · 工具包
一个 4.1B 的语言模型,面向设备端使用,针对编码、智能体任务、长上下文和推理做了调优,支持英文和中文,并有三档思考级别。适合本地运行模型的开发者。
SolsticeAI · 工具包
为 llama.cpp 和 Ollama 提供 33.1B 的 Nanbeige4.3 模型的 GGUF 量化文件,附带一套推理协议和最高 524,288 个词元的上下文。适合在本地运行编程模型的开发者。
unsloth · 工具包
在你自己的机器上运行 Ornith-1.5-122B 文本模型,由 unsloth 制作成 GGUF 文件。这是一个 122B 混合专家模型,面向单块 GPU 上的编程和智能体工作。
Alishahryar1 · 工具包
把 Claude Code、Codex、Aider 等编程工具接到多家提供商的模型上,包括免费和本地的,可在终端、IDE、手机或浏览器中使用。独立项目,与 Anthropic 无关联。