officialmobai_Rostam-S1-4B-GGUF
bartowski · 工具包
Rostam-S1-4B 的 GGUF 量化版本,这是一个 4B 推理模型,擅长数学、物理、软件工作和波斯语与英语文本。适合在本地运行小模型、想自己挑文件大小的人。
bartowski · 工具包
Rostam-S1-4B 的 GGUF 量化版本,这是一个 4B 推理模型,擅长数学、物理、软件工作和波斯语与英语文本。适合在本地运行小模型、想自己挑文件大小的人。
bartowski · 工具包
HemmingwayAI 的 Hemmingway-1.5 的 imatrix GGUF 量化版本,这是一个 27B 文本模型,支持 MTP 推测解码,并有推理强度提示格式。适合在本地运行大模型的人。
ukisai · 工具包
以 llama.cpp 用的 GGUF 量化版本运行 Swift 1.5 Ornith 9B,这是一个调校成用更少 token 思考的推理模型。适合在自己机器上运行 9B 推理模型的人。
microsoft · 工具包
Microsoft 推出的 3.8B 开放指令模型,上下文 128K token,为内存或延迟紧张时的推理、数学和逻辑而做。适合给应用添加文本功能的开发者。
TokenTinkerer · 工具包
为 llama.cpp 提供 Groot-19B-A3B 推理模型的十一种 GGUF 大小,从 7.88 到 18.59 GiB,另有一个视觉投影文件。适合在自己电脑上运行该模型的人。
unsloth · 工具包
unsloth 量化的 Qwen3-30B-A3B GGUF 文件,用于在 llama.cpp、Ollama 或 Open WebUI 里运行本地聊天和推理模型,思考模式可以逐轮开关。
unsloth · 工具包
把 32.2B 参数的推理模型 Olmo 3 32B Think 做成 GGUF 文件,可以在你自己的电脑上运行。由 unsloth 打包,适合想本地使用 Apache 2.0 模型的人。
unsloth · 工具包
用 Unsloth 制作的 GGUF 文件运行 OpenAI 的开放权重模型 gpt-oss-120b,它有 117B 参数,其中 5.1B 处于激活状态,文件带有 Unsloth 的修复。面向推理、智能体任务和开发者使用。
Shockem · 工具包
缩短 Qwen3.8-27B 在编程任务上的推理长度,让答案更快出来,以一个小型 LoRA 适配器的形式提供。适合在自己硬件上运行基础模型的人。
Qwen · 工具包
这个模型同时读图像和文字并用文字回答,是总参数 122B、激活参数 10B 的混合专家模型。适合有大型 GPU 服务器、想用开源视觉语言模型做推理、编程和智能体的团队。
Qwen · 工具包
通过 mlx 库运行 Qwen3 8B 语言模型,用于聊天、推理、翻译和智能体任务。适合想在本地使用可切换思考模式的文本模型的开发者。
paradigma-inc · 工具包
用一个从头训练的 1B 参数模型解决难度很高的数学题,追求高速、大批量的推理。适合在 NVIDIA GPU 上运行数学任务的开发者。
NousResearch · 工具包
Hermes 4.3 36B 的 GGUF 版本,是一个混合推理模型,能先思考再回答、写出有效的 JSON,并遵循你的系统提示词。适合在自己机器上运行大模型的人。
microsoft · 工具包
Microsoft Research 推出的 14B 开放语言模型,针对计算资源有限时的英语推理和对话做了调整。适合给应用添加文本功能,或研究中等规模模型的开发者。
lordx64 · 工具包
回答前会在明确的思考块里推理,用约 8k 条 Claude Opus 4.7 的推理轨迹调优。这是 35B 混合专家的 Qwen3.6 变体,适合困难的数学、科学、代码和规划。
Jackrong · 工具包
为长时间的智能体任务缩短推理时间、降低成本,是 Qwen3.8-27B 微调模型的 GGUF 版本。适合在自己机器上跑智能体循环、想让每一轮更快的人。
Jackrong · 工具包
在 think 标签里一步步思考问题,是用推理链微调的 4B Qwen3.5 模型,以 GGUF 打包。适合想在自己电脑上运行小型推理模型的人。
以 MLX 格式、6 位运行一个只有 0.8B 的推理调优聊天小模型,转换自 Jackrong 的 Qwen3.5 蒸馏模型。适合想在 Mac 上用一个很小本地模型的人。
IteraCompute · 工具包
用 vLLM 在一块 RTX 5090 上以 NVFP4 运行 Qwen3.8-27B,带校验和验证的下载、FP8 KV 缓存、工具调用和推理支持。适合在 Blackwell GPU 上自托管大模型的开发者。
ISTA-DASLab · 工具包
用 GSQ(Gumbel-Softmax 量化)制作的 Qwen3.6-35B-A3B 的 2 位量化副本,用小得多的内存保留大部分推理和编程能力。需配合打过补丁的 vLLM 使用。
InternScience · 工具包
作为一个 35B 开放权重语言模型,负责多步骤智能体工作:规划、搜索、调用工具和科学推理。适合要把模型接入会调用工具的智能体的开发者。
IFM · 工具包
作为一个紧凑的开源推理模型,回答数学、编程和科学问题,一次最多能读取 128K 个 token。由 IFM 制作,适合想要数据和代码都公开的小模型的人。
hesamation · 工具包
以四种量化大小的 GGUF 文件在你自己的机器上运行推理微调的 Qwen3.6-35B-A3B,训练数据是 Claude Opus 4.6 风格的推理数据。适合想在本地获得逐步推理回答的人。
deepgrove · 工具包
一个 20B 的三值权重推理模型,每个词元激活约 1B 参数。为快速的设备端使用而设计,检查点为 5.31 GB,上下文为 131,072 词元。这是一个预览版,在智能体任务上较弱。
chromadb · 工具包
一个 200 亿参数的搜索模型,为复杂的多步问题找出支撑文档,并在搜索中修剪自己的上下文。设计成与更大的推理模型搭配的检索助手。
baidu · 工具包
以推理见长的 ERNIE 4.5 混合专家文本模型,总参数 21B、激活参数 3B,上下文 128K,支持工具调用,支持英文和中文。适合需要用较小激活规模做深度推理的开发者。
apodex · 工具包
面向长篇研究任务的推理模型,能处理文件、数据、代码和工具,以 GGUF 文件提供,可以自己托管。适合自己运行模型的研究者和开发者。
IFM · 工具包
作为一个上下文窗口达 512K token 的小型开源模型,处理编程、推理和智能体类任务。由 IFM 制作,适合想要公开的训练数据、代码和训练中途检查点的人。
ai-sage · 工具包
用于俄语和英语的对话、代码、推理和工具调用文本生成。这是一个 432B 的混合专家模型,激活参数 28B,适合能自行部署大模型的团队。
reflection · 工具包
这个模型读写文本,上下文 1M 个 token,主打编程、智能体调用工具和数学推理,是 NVFP4 形式的 501B 参数混合专家模型。适合有多 GPU 服务器、想用开源模型的团队。
Qwen · 工具包
一个紧凑的 1.7B 聊天模型,可在用于推理的思考模式和用于对话的快速模式之间切换。适合想用小型开放模型做聊天、翻译和智能体功能的开发者。
prism-ml · 工具包
在 Apple MLX 上运行一个每个权重压成 1 比特、约 3.9 GB 的 27B 级推理模型,上下文 262K 词元。适合想在手机或笔记本上用大模型的开发者。
openai · 工具包
按你写的安全策略对文本分类,并展示推理过程。适合信任与安全团队过滤模型输入输出,以及在线或离线给内容打标签。
openai · 工具包
根据你写的安全政策给文本分类,并展示每个决定背后的推理。适合过滤或标注内容的信任与安全团队。
nvidia · 工具包
读取胸部和腹部 CT 体数据,撰写结构化放射报告、回答问题并说明推理过程。适合做 CT 图像分析的研究人员和开发者。
khazarai · 工具包
在提出修复方案前先检查真实文件,来调试和评审代码。这是 Qwen3.8-27B 的微调版,用 195M 词元的推理轨迹训练。适合构建编程智能体的开发者。
Jackrong · 工具包
减少长时间智能体任务里被浪费的推理,是 Qwen3.8-27B 第二版 Flash 微调模型的 GGUF 版本,Python 格式更好。适合在本地跑智能体循环的人。
Jackrong · 工具包
写代码、调用工具,作为编码智能体处理软件任务。这是 Jackrong 基于 Qwen3.8-27B 的 27.8B 微调模型,用约 200,000 条代码和推理样例训练,适合有强力 GPU 的开发者。
inclusionAI · 工具包
inclusionAI 的 Ling-3.0-tiny 的 GGUF 副本。这是一个小型混合专家推理模型,总参数 7.9B,激活参数 1.3B,适合低成本本地运行。
deepseek-ai · 工具包
DeepSeek 的 685B 开源推理模型,用稀疏注意力处理长上下文,聊天模板让它能一边思考一边调用工具。适合运行大模型和构建智能体的团队。
DavidAU · 工具包
DavidAU 制作的 Qwen3.8-Flash-Next 的 GGUF 版本,有 27 种推理模式、27 种指令模式和 15 个可在提示词里切换的 AI 角色。适合有大显卡或大内存的人。
DavidAU 对 27B Qwen 模型的 GGUF 微调版,有可切换的指令和推理模式,以及内置的帮助系统。Hugging Face 把它列为图文转文字。供本地运行。
回答问题并读取图像,思考过程短得多。这是 DavidAU 对 27B 的 Qwen 3.8 的调优版 GGUF,目标是在保持准确度的同时减少推理 token,适合在本地运行模型的人。
DavidAU · 工具包
指导你为本地语言模型调节采样器和参数,并给出在 LM Studio、SillyTavern、Ollama 和 Koboldcpp 里设置系统提示词、推理模型和专家数量的步骤。
xtools-at · 工具包
用三个 Qwen3.8-27B 微调版本加权合并而成的模型,可编写和解释代码,也能处理推理问题。适合想用一个通用模型做编程和聊天的开发者。
Qwen · 工具包
一个 4B 的 GGUF 聊天模型,可在 llama.cpp 或 ollama 里本地运行,有用于推理的思考模式和用于快速回复的普通模式。适合使用普通电脑的开发者和爱好者。
JetBrains · 工具包
在 llama.cpp、Ollama 或 LM Studio 里本地运行 JetBrains 的 12B 推理模型,有五种 GGUF 大小可选。适合想在自己电脑上用上下文为 131,072 个 token 的思考模型的开发者。
flechin · 工具包
一个 27B 推理模型,经过微调后倾向于直接回答而不是含糊其辞,并量化为 MXFP4,让 vLLM 能在单块 32 GB GPU 上提供服务,适合运行本地推理和工具调用模型的开发者。
通过 mlx-serve 在 128 GB 内存的 Mac 上运行剪枝后的 2 位 DeepSeek-V4.1-Flash,保留 384 个专家中的 192 个和 1M token 上下文。在代码、推理和工具调用上表现最好。
BlinkDL · 工具包
纯 RNN 的文本生成基础模型,用于聊天、推理和工具调用,可作为后训练和微调的起点。支持八种语言,适合开发者和研究人员。
XHToken · 工具包
一个 4.1B 的语言模型,面向设备端使用,针对编码、智能体任务、长上下文和推理做了调优,支持英文和中文,并有三档思考级别。适合本地运行模型的开发者。
SolsticeAI · 工具包
为 llama.cpp 和 Ollama 提供 33.1B 的 Nanbeige4.3 模型的 GGUF 量化文件,附带一套推理协议和最高 524,288 个词元的上下文。适合在本地运行编程模型的开发者。
Qwen · 工具包
用 4B 模型回答对话提示,不显示思考过程,可读取最多 256K token 的上下文。适合想要小型开源助手来做推理、编程和工具调用的开发者。
prithivMLmods · 工具包
一个小型 Qwen3.5 0.8B 模型的 GGUF 版本,它的权重被直接修改以减少推理循环。适合想用多种量化大小在本地运行它的人。
PCL-RSI-lab · 工具包
用一个会自我改进的编程智能体修复软件 bug,它从自己成功的运行中学习可复用的推理模式,适合做仓库级 bug 修复的开发者和研究人员。
NousResearch · 工具包
Nous Research 的 14B 混合推理模型,基于 Qwen3-14B。它可以逐步思考、调用工具,并返回符合模式的 JSON。使用 ChatML 提示格式。
nightmedia · 工具包
nightmedia 制作的实验性 9.4B 图文模型,由三个 9B 模型合并而成,面向推理和理科问题。适合喜欢尝试小型开放合并模型的爱好者和研究者。
inclusionAI · 工具包
接收音频和文字指令,返回文字,或带合成语音的文字。涵盖中英文的语音识别、语音问答和音频推理。适合拥有大型 GPU 的开发者。
google · 工具包
读取文字和图片并输出文字,适合想在自己的 GPU 或工作站上,用 Google DeepMind 开放权重模型做编程、推理和图片提问的开发者。
LiquidAI 的稀疏混合专家模型 LFM2.5-8B-A1B 的 GGUF 版本,加入 DavidAU 的 Turbo Brilliance 系统和 12 种推理模式。8.5B 的实验性发布,供本地运行。
LiquidAI 的 LFM2.5-2.6B 的 GGUF 版本,加入 DavidAU 的 Turbo Brilliance 系统,有 12 种推理模式和 12 种指令模式,在提示词里切换。2.7B 测试版,供本地运行。
unsloth · 工具包
在你自己的电脑上运行 OpenAI 开放权重的 gpt-oss-20b 推理模型,由 unsloth 打包成 GGUF 文件。适合想要本地模型、并能调节推理强度的开发者。
tcmofashi · 工具包
在中文 QQ 群聊里扮演一个角色:读取聊天记录,写出一句简短随意的回复,不显示推理过程。这是 Qwen3.5-9B 的合并 9B 微调模型,也能读取聊天里的图片。
prism-ml · 工具包
把 27B 级推理模型做成约 3.9 GB 的 1-bit GGUF 文件,在 llama.cpp 上运行,笔记本或一张显卡就能放下。适合想在日常硬件上做本地推理的人。
KRAFTON · 工具包
在 llama.cpp 中运行一个 28.8B 的混合专家模型,针对韩语对话、推理和调用工具的智能体做过优化。这是 Raon-1 mini preview 的 GGUF 版本,适合在自己电脑上运行模型的人。
JetBrains · 工具包
12B 混合专家思考模型,激活参数 2.5B,在真实代码仓库中用强化学习训练,面向编程智能体、数学和困难推理。由 JetBrains 打造,上下文 131,072 token。
IFM · 工具包
用 512K token 的上下文窗口写文字、代码和推理回答,适合想要训练数据、代码和检查点全部公开的开放稠密模型的开发者和研究人员。
FirstPrinciplesLabs · 工具包
FirstPrinciples 从 Qwen3.5-9B 微调出的 9B 物理、科学和数学推理模型。适合想要分步推导和第二意见,并希望在本地或离线使用的研究者。
empero-ai · 工具包
在手机、笔记本和单板计算机上运行小型 2B 推理模型,提供五种量化等级的 GGUF 文件。由 Empero 打包,是大型 Qwen3.8 模型的蒸馏版本,适用于 llama.cpp。
bytkim · 工具包
为 Pi 智能体框架调优的 27B 编程模型,训练它读取代码仓库、编辑文件、运行工具并利用工具的反馈,推理强度可调。适合运行编程智能体的开发者。
nvidia · 工具包
提供 NVIDIA 对 ZAI 的 GLM-5.3-Flash 做的 NVFP4 量化版,这是一个用于推理、编码和智能体任务的多模态模型。适合在 Blackwell GPU 上用 vLLM 或 SGLang 部署的开发者。
NousResearch · 工具包
这是一个推理型对话模型,可以一步步思考,也可以快速作答,还能返回符合你所给模式的 JSON。适合自己部署语言模型的人。
google · 工具包
读取文字和图片并输出文字,适合想用 Google DeepMind 最大的稠密开放权重 Gemma 4 模型做编程、推理和图片提问的开发者和研究人员。
empero-ai · 工具包
在笔记本或中端显卡上运行 4B 推理模型,提供五种量化等级的 GGUF 文件。由 Empero 打包,是大型 Qwen3.8 模型的蒸馏版本,适用于 llama.cpp 等应用。
unsloth · 工具包
通过 Unsloth 的 GGUF 文件在本地运行 Google 的 Gemma 4 31B 指令微调模型,支持文本和图像输入,上下文很长。适合想要强大本地推理和编程模型的开发者。
empero-ai · 工具包
Empero 的 Qwen3.8-9B 的 GGUF 量化版本,一个由更大的 Qwen3.8 蒸馏到 Qwen3.5-9B 架构里的推理模型,适用于 llama.cpp、Ollama、LM Studio 等工具。
deepseek-ai · 工具包
用 684B 的推理模型生成文本,该模型主要通过强化学习训练,面向数学、代码和逻辑。适合自己托管大型开源模型的研究人员和团队。
reflection · 工具包
Reflection 推出的开放指令微调文本模型,501B 参数,每次激活 23B,上下文 1M token,面向编程、工具使用和推理。需要大型多 GPU 服务器才能运行。
Qwen · 工具包
用 4B 的 Qwen3 模型生成文本,可在处理难题的思考模式和快速聊天的普通模式之间切换。适合想用小型聊天模型的开发者。
Jackrong · 工具包
作为 Qwen3.8-27B 的 GGUF 微调版,帮你写代码并胜任会调用工具的智能体任务,用约 20 万条代码、智能体和推理样例训练。适合在自己电脑上运行模型的开发者。
inclusionAI · 工具包
用 7.9B 的混合推理模型生成文本,每个词元只激活 1.3B 参数,适合本地和低资源环境。适合不想用数据中心 GPU 却要推理和智能体能力的开发者。
openai · 工具包
OpenAI 的开放权重语言模型,117B 参数,可调推理强度,思维链可见并支持工具使用。能在一块 80 GB 的 GPU 上运行,采用 Apache 2.0 许可。
beipo-ai · 工具包
读取截图和请求,为操控桌面或浏览器的智能体写出推理和工具调用。适合有大型 GPU 环境、构建电脑操作智能体的团队。
Sparset · 工具包
Thinklite-27B 的 4 位 GGUF 版本,适用于 llama.cpp,每次回答比基础模型用更少的推理,适合在本地运行 27B 文本模型的人。
DavidAU · 工具包
以 GGUF 形式运行 Qwen3.8-27B,带有一组可在提示词里切换的推理和指令模式。适合运行本地模型、喜欢调整模型工作方式的人。
meta-models · 工具包
读取文字和图片,在本地机器上完成工具调用、多步推理等智能体任务,是从 Muse Spark 蒸馏出的 30B 模型。适合构建本地智能体的开发者。
rayline-ai · 工具包
读取智能体的对话,预测哪个模型会成功、会用多少词元、该花多少推理,让应用按质量和成本来路由请求。适合智能体开发者。
169Pi · 工具包
用一个基于 Qwen3.5-9B 的 9B 开放权重模型处理文字、图片和视频,做推理和编程,并提供适合轻量硬件的 GGUF 版本。适合想要能离线运行的模型的开发者。
Qwen · 工具包
用一个 35B 的混合专家模型处理编程、仓库级推理和图文输入,它激活 3B 个参数。适合在 transformers、vLLM 或 SGLang 里运行开放权重的开发者。
Axion1-0 · 工具包
Axion 1.0-35B 的复现检查点,一个 35B 混合专家模型,面向科学推理、信息检索和借助工具解决问题,用 vLLM 部署。适合研究人员和智能体开发者。
Sparset · 工具包
Qwen3.8-27B 的一个变体,推理用的 token 少得多,高强度下最终答案约快一倍,适合运行推理模型并希望等待更短的人。
yuntian-deng · 工具包
一个 Gradio 演示,对比被训练来做大数乘法的 GPT-2 模型,包括名字里标明不带推理步骤、隐含推理步骤和写出推理步骤的几种版本。适合 AI 研究者和好奇的学习者。
webml-community · 工具包
通过 WebGPU 在浏览器里运行小型的 Baguettotron 推理模型,不需要服务器,也不用安装任何东西。适合想试用浏览器内模型或想读读它如何搭建的人。
Oxygen-Low · 工具包
DeepSmolLM3-3B 的浏览器聊天演示,这是一个 3B 参数的推理模型,会把长篇思考和答案分开显示。适合想不用 API 密钥就试试小型推理模型的人。
dotlabs · 工具包
在静态网站上给小型 AI 模型的推理和编程基准成绩排名,带可排序的表格、图表和并排对比。适合挑选或研究小型模型的人。
Eclipse-Senpai · 工具包
在浏览器里和一个只有 99M 参数的小型语言模型聊天,可选推理模式、计算器和实时网页搜索。适合想试用微型聊天模型的人。
n8n 工作流
一个分轮研究问题的 n8n 工作流。表单接收问题,模型提出澄清问题,循环搜索网页并读取页面,推理模型写出一份长报告,保存到 Notion 页面。
n8n 工作流
一块 n8n 画布,四种接入 DeepSeek 的方式:Ollama 上的本地 R1 模型回答聊天,两个直接调用 API 的请求(开思考和关思考),还有一个带记忆的智能体。
deepseek-ai · 工具包
面向推理、编程和智能体任务的图文模型,上下文窗口为 1M 个 token,由 DeepSeek-V4.1-Flash 更新而来。适合构建智能体的开发者。