Sweep Next-Edit 1.5B (GGUF)
sweepai · 工具包
根据当前打开的文件、最近的改动和当前状态预测你的下一处代码修改,以 1.5B 的 Q8_0 GGUF 模型在本地运行。适合想在自己笔记本上获得编辑自动补全的开发者。
写代码、审代码用的提示词、编程智能体任务说明和工具包,花更少的 Token。
sweepai · 工具包
根据当前打开的文件、最近的改动和当前状态预测你的下一处代码修改,以 1.5B 的 Q8_0 GGUF 模型在本地运行。适合想在自己笔记本上获得编辑自动补全的开发者。
RX5950XT · 工具包
Unlimited-OCR-2 文档 OCR 模型的 GGUF 文件,提供 BF16、Q8_0 和 Q4_K_M,并附视觉投影器。只能在应用了仓库补丁的 llama.cpp 里运行,适合在本地读取扫描和多页文档的人。
perplexity-ai · 工具包
根据你设定的选项给请求分类,支持文本和图像,使用小型决策模型的 Q8_0 GGUF 副本。适合能运行协议 v3 运行时的开发者。
ggml-org · 工具包
通过 llama.cpp 在你自己的机器上运行 Qwen2.5-Coder 1.5B 的 Q8_0 GGUF 文件,可以用命令行,也可以做成本地服务器。适合想用小型代码模型的开发者。
axiomofmind · 工具包
MOSS-Image-SFT 扩散 Transformer 的非官方 GGUF 文件,有 Q8_0 和 Q4_K_S 两种,用 stable-diffusion.cpp 在本地做文字生成图像。需要另外准备 Qwen3.5-9B 编码器、分词器和 VAE。
Qwen · 工具包
提供 Qwen3 1.7B 小型对话模型的 q8_0 GGUF 文件,供 llama.cpp 使用,可在思考与非思考回复之间切换。适合想要轻量本地助手的人。
ggml-org · 工具包
按与查询的相关度给段落排序,是 Qwen3 0.6B 重排序模型的 8-bit GGUF 副本,用 llama.cpp 制作。适合想要小型本地重排序模型来做搜索的开发者。
bartowski · 工具包
Meta Llama 3.1 8B Instruct 的量化 GGUF 文件,用于本地聊天,例如 Q4_K_M 为 4.92 GB,Q8_0 为 8.54 GB。由 bartowski 用重要性矩阵制作。涵盖 8 种语言,可在 LM Studio 中运行。
bartowski · 工具包
bartowski 制作的 Qwen3.8-27B 的一组 GGUF 量化版本,从 Q8_0 到 3-bit,用重要性矩阵生成。适合在本地用 llama.cpp 运行 27B 视觉语言模型的人。
higa2515 · 工具包
用 GGUF 文件运行带稀疏注意力的 Qwen3.8-27B,提供 Q8_0 和 Unsloth 的 Q4、Q5、Q6 混合版本,支持文字、图片和视频输入。适合使用 NVIDIA 显卡的 Linux 用户。
qvac · 工具包
0.8B 工具调用模型 BotPsy 的 GGUF 版本,提供 BF16、Q8_0 和 Q4_K_M 三种文件,用 llama.cpp 在你自己的设备上完整运行智能体和函数调用任务。