Qwen3-4B-GGUF
Qwen · 工具包
一个 4B 的 GGUF 聊天模型,可在 llama.cpp 或 ollama 里本地运行,有用于推理的思考模式和用于快速回复的普通模式。适合使用普通电脑的开发者和爱好者。
Qwen · 工具包
一个 4B 的 GGUF 聊天模型,可在 llama.cpp 或 ollama 里本地运行,有用于推理的思考模式和用于快速回复的普通模式。适合使用普通电脑的开发者和爱好者。
Qwen · 工具包
这是一个 14.8B 参数的开源模型,难题用思考模式推理,日常聊天用更快的非思考模式回答。适合想用一个模型处理逻辑、代码、智能体和 100 多种语言的开发者。
Qwen · 工具包
编写、解释和修复代码,是 Qwen2.5-Coder 系列中最大的指令微调模型,32B 参数。适合想在自己硬件上运行强大开源编程模型的开发者。
Qwen · 工具包
提供 Qwen2.5-Coder 14B 指令模型的 GGUF 文件,有八种量化大小,可用 llama.cpp 辅助写代码。适合有好 GPU 或大内存机器、想要更强本地代码助手的开发者。
Qwen · 工具包
提供 Qwen2.5-Coder 1.5B 指令模型的 GGUF 文件,有八种量化大小,可用 llama.cpp 在笔记本上辅助写代码。适合想要轻量本地代码助手的开发者。
osunlp · 工具包
把文本接着往下写,是带注意力残差的小型预训练循环 Transformer。这是基础模型,适合想在其上继续做中期训练或后训练的研究人员。
ornith-ai · 工具包
处理编程和终端任务,是一个适合单张 GPU 的 9B 稠密语言模型。适合想用小型开源模型做软件开发的开发者,另有面向手机的移动版本。
ornith-ai · 工具包
提供 Ornith-1.5-122B 的 NVFP4 量化副本,这是一个面向单 GPU 使用、在编程测试里表现突出的 122B 混合专家文本模型。适合自己托管大模型的开发者。
openai-community · 工具包
从一个起始短语出发续写英文文本,是 OpenAI GPT-2 的 1.5B 参数版本。适合想用经典开源文本生成模型的研究人员和开发者。
NaiveAI · 工具包
开放权重的混合专家模型,总参数 309B,激活 15.5B,原生 100 万 token 上下文,为编程和 AI 研究而构建。适合在自己服务器上运行大型编程模型的团队。
MongoDB · 工具包
来自 Voyage 4 系列、3.46 亿参数的多语言文本嵌入模型,用于语义搜索和检索,向量大小可调。适合构建搜索和 RAG 系统的开发者。
MineAITechnology · 工具包
一个用 JAX 和 Flax 从零训练的 124M 参数 GPT-2 风格语言模型,附带可在 CPU 上使用的 ONNX 文件。适合研究小模型训练的学生和研究者。
JetBrains · 工具包
在 llama.cpp、Ollama 或 LM Studio 里本地运行 JetBrains 的 12B 推理模型,有五种 GGUF 大小可选。适合想在自己电脑上用上下文为 131,072 个 token 的思考模型的开发者。
incoai · 工具包
通过 Inco AI 的 Splash 引擎在 Apple 芯片 Mac 上运行 Qwen3.8-27B,一个包里含 4-bit 模型、DFlash 2 草稿模型和视觉编码器。只能在 Splash 里使用。
inclusionAI · 工具包
处理科学和智能体任务,总参数 560B,激活参数 25B,上下文 1M token,在 Ling-3.1-flash 基础上进一步调优。服务示例使用多 GPU 服务器上的 SGLang 和 vLLM,采用 MIT 许可。
ibm-granite · 工具包
先分步骤思考再作答,适合数学、代码、工具调用和多语言对话。这是 IBM 最大的稠密 Granite 4.2 模型,采用 Apache 2.0 许可,适合在自己硬件上运行开源模型的团队。
HuggingFaceTB · 工具包
用一个 1.35 亿参数、小到能在设备上运行的指令微调模型回答聊天式问题,也能做改写和摘要。适合需要在 Python 或 JavaScript 中使用微型聊天模型的开发者。
HuggingFaceTB · 工具包
聊天、改写和总结文本,还能调用函数,是一个小到可以在设备上运行的 1.7B 紧凑模型。这是 HuggingFaceTB 经过指令微调的 SmolLM2,适合想要小型英文模型的开发者。
gugujiji · 工具包
改写中文网文章节,让它读起来不那么像 AI 写的,同时保持剧情、对话和人物不变。这是基于 Qwen3-4B 的 4B 模型,仅限非商业使用。
gnani · 工具包
用英语和十种印度语言聊天、答题和推理,上下文长度 128K。这是 Gnani.ai 的 30B 混合专家模型,适合用印度语言构建助手、RAG 和智能体的团队。
ggml-org · 工具包
在你自己的电脑上生成文字,使用 ggml-org 打包的 OpenAI gpt-oss-20b 的 GGUF 版本。适合想在 Llama 应用或终端里本地运行开源 20B 模型的人。
通过 mlx-serve 在 128 GB 内存的 Mac 上运行剪枝后的 2 位 DeepSeek-V4.1-Flash,保留 384 个专家中的 192 个和 1M token 上下文。在代码、推理和工具调用上表现最好。
BlinkDL · 工具包
纯 RNN 的文本生成基础模型,用于聊天、推理和工具调用,可作为后训练和微调的起点。支持八种语言,适合开发者和研究人员。
bartowski · 工具包
支持中英文的小型聊天模型,GGUF 文件从完整 bf16 到约 2.4 GB,供 llama.cpp 使用,有低或高两档思考设置。适合想要紧凑本地助手的开发者。
Aleph-Alpha · 工具包
用德语和英语推理并调用工具,上下文窗口超过一百万 token。这是 Aleph Alpha 推出的开放 78B 混合专家模型,每个 token 只激活 3.46B 参数。
XHToken · 工具包
作为推测解码的小型草稿模型,为 Spark-X2.6-4B 加速文本生成,提供 GGUF 格式。适合用 llama.cpp 在本地运行该模型的人。
XHToken · 工具包
一个 4.1B 的语言模型,面向设备端使用,针对编码、智能体任务、长上下文和推理做了调优,支持英文和中文,并有三档思考级别。适合本地运行模型的开发者。
Remek · 工具包
针对一条消息、文档或智能体轨迹的类型化问题,一次计算就给出每个允许答案的校准概率,不生成文字。这是面向波兰语和英语决策的实验性 31B 模型。
brandonmusic · 工具包
DeepSeek-V4.1-Flash-1017 的压缩版本,按两张 96 GB 显卡的规格设计,少数专家用更高精度存储。这是面向大模型部署者的研究版本。
XiaomiMiMo · 工具包
在同一个模型里处理文本、图像、视频和音频输入,上下文长达 1M token,适合长代码库和智能体运行。这是 XiaomiMiMo 推出的 311B 开放混合专家模型。
unsloth · 工具包
在你自己的机器上运行 Ornith-1.5-122B 文本模型,由 unsloth 制作成 GGUF 文件。这是一个 122B 混合专家模型,面向单块 GPU 上的编程和智能体工作。
Qwen · 工具包
把 100 多种语言的文字和代码变成向量,用于搜索、检索、分类和聚类,向量大小可调,还支持任务指令,适合构建搜索和 RAG 系统的开发者。
Qwen · 工具包
作为编程智能体模型使用,总参数 80B、激活参数 3B,上下文 256K。适合在 CLI 和 IDE 工具里运行智能体、并想自己托管模型的开发者。
Qwen · 工具包
用 4B 模型回答对话提示,不显示思考过程,可读取最多 256K token 的上下文。适合想要小型开源助手来做推理、编程和工具调用的开发者。
Qwen · 工具包
编写、解释和修复代码,是 Qwen2.5-Coder 系列里 7B 的指令微调成员。适合想要一个单张消费级 GPU 就能跑的开源编程模型的开发者。
Qwen · 工具包
提供 Qwen2.5 1.5B 小型对话模型的 GGUF 文件,有八种量化大小,可用 llama.cpp 在笔记本或普通 GPU 上运行。适合想要轻量本地助手的人。
Qwen · 工具包
Qwen 的 1.5B 小型对话模型,能遵循指令、写代码和数学、输出 JSON 等结构化内容,支持超过 29 种语言。适合需要轻量模型的开发者。
pfeifferj · 工具包
把 Ornith-1.5-35B-A3B 文本模型压缩成 3 位和 3.5 位的 GGUF 文件,约 13 GB 和 15 GB,而不是 69 GB,适合用 llama.cpp 运行本地模型的人。
peasantsmith · 工具包
通过为 Project Maya 制作的两种 GGUF 量化版本,在家用电脑上运行 748B 的 DeepSeek 混合专家模型。适合有大内存机器和高速 SSD 的人。
PCL-RSI-lab · 工具包
用一个会自我改进的编程智能体修复软件 bug,它从自己成功的运行中学习可复用的推理模式,适合做仓库级 bug 修复的开发者和研究人员。
openbmb · 工具包
提供 MiniCPM5-2B 的 GGUF 文件,这是一个支持中英文的小型稠密文本模型,适合在设备上和本地使用。适合想在普通硬件上用紧凑模型做编程、数学和工具调用的人。
NousResearch · 工具包
Nous Research 的 14B 混合推理模型,基于 Qwen3-14B。它可以逐步思考、调用工具,并返回符合模式的 JSON。使用 ChatML 提示格式。
NousResearch · 工具包
Nous Research 基于 Llama 3.1 的 8B 通用对话模型,支持函数调用、结构化输出、角色扮演和代码辅助。适合想要一个可以自己运行、可引导的开放助手的开发者。
mondk · 工具包
一个 4.2B 的文本生成模型,由 Qwen3.5-4B 微调而来,用 Three.js 把 3D 场景写成一个独立的 HTML 文件。在浏览器里打开文件,用鼠标旋转模型。
MemTensor · 工具包
自带固定大小记忆状态的语言模型,基于 Qwen3.6-35B-A3B,无需重读就能保留过去的上下文。适合研究模型和智能体记忆的研究人员和开发者。
Leejh123e · 工具包
一个小型聊天机器人,它的权重是用纯文本编辑清单手写出来的,完全没有经过训练。你可以把每条回复追溯到背后的神经元。需要联网访问一个公开的查询服务。
HemmingwayAI · 工具包
把日常消息和邮件写成一条可以直接发送的文字,而不是一堆选项。基于 Qwen3.8-27B 的 27B 模型,非商业使用免费,适合想要听起来像真人写作的人。
dglhf · 工具包
帮助完成智能体式编码,包含两个在 PostgreSQL 引擎任务上训练的模型。Slonik-27B 和 Slonik-9B 来自 Postgres Professional,适合从事数据库代码和编码智能体的开发者。
LiquidAI 的稀疏混合专家模型 LFM2.5-8B-A1B 的 GGUF 版本,加入 DavidAU 的 Turbo Brilliance 系统和 12 种推理模式。8.5B 的实验性发布,供本地运行。
LiquidAI 的 LFM2.5-2.6B 的 GGUF 版本,加入 DavidAU 的 Turbo Brilliance 系统,有 12 种推理模式和 12 种指令模式,在提示词里切换。2.7B 测试版,供本地运行。