Spark-X2.6-4B-Base
XHToken · 工具包
一个 4.1B 的语言模型,面向设备端使用,针对编码、智能体任务、长上下文和推理做了调优,支持英文和中文,并有三档思考级别。适合本地运行模型的开发者。
XHToken · 工具包
一个 4.1B 的语言模型,面向设备端使用,针对编码、智能体任务、长上下文和推理做了调优,支持英文和中文,并有三档思考级别。适合本地运行模型的开发者。
unsloth · 工具包
unsloth 制作的 Qwen3.5-2B 小型 GGUF 版本,能读图片和文字并用文字回答。适合在本地做原型、微调和研究。
XiaomiMiMo · 工具包
在同一个模型里处理文本、图像、视频和音频输入,上下文长达 1M token,适合长代码库和智能体运行。这是 XiaomiMiMo 推出的 311B 开放混合专家模型。
unsloth · 工具包
在你自己的机器上运行 Ornith-1.5-122B 文本模型,由 unsloth 制作成 GGUF 文件。这是一个 122B 混合专家模型,面向单块 GPU 上的编程和智能体工作。
Qwen · 工具包
读取文本和图像并输出文本,是 Qwen3.6-35B-A3B 的 FP8 版本,激活参数 3B。适合运行编程智能体、又想比全精度下载更小的开发者。
Qwen · 工具包
Qwen 的 27B 模型,读取文字和图片并用文字回复,针对编程智能体和仓库级工作调校,适合用 transformers 库运行它的开发者。
Qwen · 工具包
作为编程智能体模型使用,总参数 80B、激活参数 3B,上下文 256K。适合在 CLI 和 IDE 工具里运行智能体、并想自己托管模型的开发者。
Qwen · 工具包
用 4B 模型回答对话提示,不显示思考过程,可读取最多 256K token 的上下文。适合想要小型开源助手来做推理、编程和工具调用的开发者。
Qwen · 工具包
编写、解释和修复代码,是 Qwen2.5-Coder 系列里 7B 的指令微调成员。适合想要一个单张消费级 GPU 就能跑的开源编程模型的开发者。
Qwen · 工具包
提供 Qwen2.5 1.5B 小型对话模型的 GGUF 文件,有八种量化大小,可用 llama.cpp 在笔记本或普通 GPU 上运行。适合想要轻量本地助手的人。
Qwen · 工具包
Qwen 的 1.5B 小型对话模型,能遵循指令、写代码和数学、输出 JSON 等结构化内容,支持超过 29 种语言。适合需要轻量模型的开发者。
prithivMLmods · 工具包
一个小型 Qwen3.5 0.8B 模型的 GGUF 版本,它的权重被直接修改以减少推理循环。适合想用多种量化大小在本地运行它的人。
pfeifferj · 工具包
把 Ornith-1.5-35B-A3B 文本模型压缩成 3 位和 3.5 位的 GGUF 文件,约 13 GB 和 15 GB,而不是 69 GB,适合用 llama.cpp 运行本地模型的人。
openbmb · 工具包
提供 MiniCPM5-2B 的 GGUF 文件,这是一个支持中英文的小型稠密文本模型,适合在设备上和本地使用。适合想在普通硬件上用紧凑模型做编程、数学和工具调用的人。
oguzeldereli · 工具包
把 Qwen3.8-27B 压缩成三值权重的 GGUF 文件,可在 12 GB 显卡上运行,有 8.2 GB 和 6.74 GB 两个版本。适合想在普通硬件上跑大型本地模型的人。
NousResearch · 工具包
把 NousResearch 的 8B 通用聊天模型 Hermes 3 做成量化 GGUF 文件,供 llama.cpp 使用。适合想在本机用函数调用、结构化输出和代码帮助的人。
mradermacher · 工具包
BAAI/AREX-2(一个 26.9B 的视觉模型)的加权 GGUF 量化版本,约有两打尺寸,从 7.2 GB 到 22.2 GB,另有一个用来制作你自己量化版本的 imatrix 文件。由 mradermacher 制作。
mondk · 工具包
一个 4.2B 的文本生成模型,由 Qwen3.5-4B 微调而来,用 Three.js 把 3D 场景写成一个独立的 HTML 文件。在浏览器里打开文件,用鼠标旋转模型。
MemTensor · 工具包
自带固定大小记忆状态的语言模型,基于 Qwen3.6-35B-A3B,无需重读就能保留过去的上下文。适合研究模型和智能体记忆的研究人员和开发者。
HemmingwayAI · 工具包
把日常消息和邮件写成一条可以直接发送的文字,而不是一堆选项。基于 Qwen3.8-27B 的 27B 模型,非商业使用免费,适合想要听起来像真人写作的人。
LiquidAI 的稀疏混合专家模型 LFM2.5-8B-A1B 的 GGUF 版本,加入 DavidAU 的 Turbo Brilliance 系统和 12 种推理模式。8.5B 的实验性发布,供本地运行。
LiquidAI 的 LFM2.5-2.6B 的 GGUF 版本,加入 DavidAU 的 Turbo Brilliance 系统,有 12 种推理模式和 12 种指令模式,在提示词里切换。2.7B 测试版,供本地运行。
bartowski · 工具包
bartowski 制作的 Qwen3.8-27B 的一组 GGUF 量化版本,从 Q8_0 到 3-bit,用重要性矩阵生成。适合在本地用 llama.cpp 运行 27B 视觉语言模型的人。
bartowski · 工具包
bartowski 用重要性矩阵为 Jackrong 的 Qwopus3.8-27B-Coder-Flash 制作的 GGUF 量化版本,大小从 17 GB 到 55 GB。适合在本地用 llama.cpp 运行 27B 模型。
8BitStudio · 工具包
一个 95.6M 参数的英文聊天模型,在单块 RTX 5060 Ti 上从零训练,小到可以在 CPU 上运行。适合想试玩小型本地语言模型的人。
XingChen-AGI · 工具包
用于生成文本,处理规划和调用工具等多步骤任务,支持中英文和 256K 上下文。这是一个混合专家模型,适合自行部署运行的开发者。
unsloth · 工具包
Qwen3.5 9B 的 GGUF 版本,支持在 llama.cpp 里用多词元预测做推测解码,生成更快。适合会自己构建 llama.cpp、想在本地运行这个模型的人。
unsloth · 工具包
unsloth 制作的 Qwen3.5-0.8B 小型 GGUF 版本,能读图片和文字并用文字回答。适合在本地做原型、微调和研究。
unsloth · 工具包
在你自己的电脑上运行 OpenAI 开放权重的 gpt-oss-20b 推理模型,由 unsloth 打包成 GGUF 文件。适合想要本地模型、并能调节推理强度的开发者。
sweetand · 工具包
帮助 1C:Enterprise 平台上的开发者读取和修改 BSL 代码,并在 XML 导出里查找对象。这是以俄语为主的 Qwen3.8-27B 微调版本,这里提供 GGUF 格式。
Qwen · 工具包
能读图像和文字的多模态聊天模型,总参数 35B,每次只启用其中 3B。适合用 Transformers、vLLM 等自己部署大模型的开发者。
Qwen · 工具包
读取文字和图片并写出文字,是带视觉编码器的 27B Qwen 模型,原生上下文为 262,144 个词元。适合在服务器级硬件上构建助手和智能体的开发者。
Qwen · 工具包
提供 Qwen3-0.6B-Base,这是 Qwen3 系列里小型的预训练基础模型,用 119 种语言训练,上下文 32k。适合要微调或研究微型语言模型的开发者。
prism-ml · 工具包
把 27B 级推理模型做成约 3.9 GB 的 1-bit GGUF 文件,在 llama.cpp 上运行,笔记本或一张显卡就能放下。适合想在日常硬件上做本地推理的人。
peculiar-ragdoll · 工具包
4B 编程模型 Spark-X2.5 的压缩 GGUF 版本,针对约 6 GB 显存的 GPU 调整了长上下文。适合想在小硬件上本地运行编程模型的开发者。
openbmb · 工具包
给文字、公式或表格区域的 OCR 结果打 0 到 1 的分,表示结果正确的可能性。适合自动接受可靠结果、把其余的送去复核或在多个 OCR 模型间择优的团队。
mlx-community · 工具包
Qwen3.8-27B 的 4 位 MLX 转换版,能读文字和图像并用文字回答,用 mlx-vlm 工具运行。适合想在本地运行视觉语言模型的开发者。
microsoft · 工具包
Microsoft 推出的图像和视频多模态模型,像视频编码器存储视频那样读取视频,只保留变化的图块。适合做视频理解和流式处理的开发者和研究者。
Mia-AiLab · 工具包
DeepSeek-V4.1-Flash-1017 的 2.9 bits-per-weight EXL3 量化版本,能读取文本和图片。它把模型压缩到约 210 GB,供 exllamav3 运行时使用,模型卡还测量了它与原模型的贴近程度。
lmstudio-community · 工具包
Qwen 的 Qwen3.8-27B 的 GGUF 量化版本,由 LM Studio 团队用 llama.cpp 制作,适合在自己电脑上运行 27B 模型的人。
KRAFTON · 工具包
在 llama.cpp 中运行一个 28.8B 的混合专家模型,针对韩语对话、推理和调用工具的智能体做过优化。这是 Raon-1 mini preview 的 GGUF 版本,适合在自己电脑上运行模型的人。
JetBrains · 工具包
12B 混合专家思考模型,激活参数 2.5B,在真实代码仓库中用强化学习训练,面向编程智能体、数学和困难推理。由 JetBrains 打造,上下文 131,072 token。
InternScience · 工具包
以 4-bit GGUF 文件运行 Sage-A1.5,这是面向长篇科学任务的 35B 混合专家智能体模型。它能把工作分给子智能体并检查自己的进展,适用于 llama.cpp、Ollama 和 LM Studio。
inclusionAI · 工具包
处理复杂的智能体、搜索、办公和编程工作,总参数 560B,激活参数 25B,上下文 1M token。服务示例使用多 GPU 服务器上的 SGLang,权重以 MIT 许可开放。
IFM · 工具包
用 512K token 的上下文窗口写文字、代码和推理回答,适合想要训练数据、代码和检查点全部公开的开放稠密模型的开发者和研究人员。
ibm-granite · 工具包
逐步推理、写代码、调用工具,并用多种语言聊天,上下文最长 128K token,可扩展到 512K。这是 IBM 的稠密 8B 模型,适合构建智能体和助手的开发者。
HuggingFaceTB · 工具包
作为小型 3B 开放模型来写作和回答问题,支持可切换的逐步思考、工具调用和长上下文,适合想在自己电脑上用紧凑模型的开发者。
higa2515 · 工具包
在 Qwen3.8-27B 上加了学习型稀疏注意力索引器的 BF16 源权重,附带参考用的 Transformers 加载器,适合研究或部署 Qwen Sparse Attention 的人。
google · 工具包
以 4-bit GGUF 文件运行 Google 的 Gemma 4 12B 指令微调模型,使用量化感知训练制作。能读取文本和图片,适合笔记本和消费级显卡。
FirstPrinciplesLabs · 工具包
FirstPrinciples 从 Qwen3.5-9B 微调出的 9B 物理、科学和数学推理模型。适合想要分步推导和第二意见,并希望在本地或离线使用的研究者。
empero-ai · 工具包
在手机、笔记本和单板计算机上运行小型 2B 推理模型,提供五种量化等级的 GGUF 文件。由 Empero 打包,是大型 Qwen3.8 模型的蒸馏版本,适用于 llama.cpp。
beipo-ai · 工具包
读取截图和请求,然后规划并发出操作桌面或浏览器的动作。这是基于 Qwen3.5 的 35B 混合专家计算机操作模型,激活参数 3B。
bartowski · 工具包
bartowski 用重要性矩阵为 Nanbeige4.3-33B 制作的 GGUF 量化版本,大小约从 21 GB 到 66 GB。适合在本地用 llama.cpp 运行 33B 的中英文文本模型。
XHToken · 工具包
用面向本地设备的紧凑 1.7B 模型生成文本,有三档可调的思考等级。适合想在本地硬件上获得编程、智能体和长上下文帮助的开发者。
unsloth · 工具包
Unsloth 制作的 Qwen2.5-VL-7B-Instruct 的 GGUF 文件,这个视觉语言模型能读图像、图表、文档和长视频,还能输出坐标和结构化数据。适合在本地运行它的人。
unsloth · 工具包
Google Gemma 4 E4B 指令模型的 4-bit GGUF 版本,由 Unsloth 打包,可在你自己的机器上运行。它能读取文字和图像,并用文字回答。
unsloth · 工具包
Unsloth 制作的 Google 指令微调 Gemma 4 12B 的 GGUF 量化版本,一个能读文字、图片、音频和视频并输出文字的模型,适合本地运行。
typhoon-ai · 工具包
用 0.8B 参数把泰语和英语文档页面解析成按顺序排列的版面元素,带类别、边框和文字。适合要把泰语文件数字化的开发者。
TinyLlama · 工具包
以小型 1.1B 语言模型的身份用纯文本聊天,运行时占用内存很少。适合想要基于 Llama 风格基础模型的紧凑聊天模型的开发者和研究人员。
sensenova · 工具包
用 27B 模型生成并渲染可执行代码来制作短视频,该模型由 Qwen3.8-27B 微调而来。适合想根据提示词出视频草稿的动效设计师、教师和营销人员。
Qwen · 工具包
Qwen 的小型 2B 模型,读取文字和图片并用文字回复,适合用 transformers 库做原型、微调或研究的开发者。
nvidia · 工具包
NVIDIA 用 Model Optimizer 制作的、预先量化好的 Alibaba Qwen3.6-35B-A3B 的 NVFP4 版本。它能处理文本、图片和视频,可在 Hopper 或 Blackwell GPU 上用 vLLM 运行。
nvidia · 工具包
提供 NVIDIA 对 ZAI 的 GLM-5.3-Flash 做的 NVFP4 量化版,这是一个用于推理、编码和智能体任务的多模态模型。适合在 Blackwell GPU 上用 vLLM 或 SGLang 部署的开发者。
ggml-org · 工具包
以 GGUF 文件形式运行 Qwen3.8-27B,这是一个 26.9B 的模型,能读图片和文字并用文字回复,通过 llama 工具在本机使用,适合想把它放在自己电脑上的你。
empero-ai · 工具包
在笔记本或中端显卡上运行 4B 推理模型,提供五种量化等级的 GGUF 文件。由 Empero 打包,是大型 Qwen3.8 模型的蒸馏版本,适用于 llama.cpp 等应用。
XHToken · 工具包
以 4-bit GGUF 文件运行 XHToken 的 1.7B 小型端侧语言模型,可做中英文的聊天、编码和智能体任务,思考强度可调。适合在本地运行模型的人。
unsloth · 工具包
Gemma 4 12B 的 GGUF 版本,经过量化感知训练,4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人,附带加快输出的草稿文件。
tencent · 工具包
读取图片和文字提问,返回物体框、点、数量、文字位置和像素级蒙版,包括 alpha 抠图。适合在自己电脑上运行 2.4B 模型的研究者。
speakleash · 工具包
能用波兰语、英语和另外六种语言回答的聊天模型,打包成五种大小的 GGUF 文件,供 llama.cpp 或 Ollama 使用。适合想在自己电脑上用指令模型的人。
lapadatbogdan · 工具包
在家用电脑上运行裁剪过的 GLM-5.3-Flash 编程和智能体模型,提供五种量化大小的 GGUF 文件。每层保留 288 个专家中的 152 个,把 321B 模型缩小到约 170B。
InternScience · 工具包
作为智能体处理长篇科学任务,能委派给子智能体、检查自己的进展并修订计划。这是面向研究和工程工作流的 35B 混合专家模型。
empero-ai · 工具包
回答前先一步步推理,使用 35B 的混合专家模型,每个词元只激活约 3B 参数。由 Qwen3.8 教师推理轨迹蒸馏而来,侧重数学和代码。
unsloth · 工具包
通过 Unsloth 的 GGUF 文件在本地运行 Google 的 Gemma 4 31B 指令微调模型,支持文本和图像输入,上下文很长。适合想要强大本地推理和编程模型的开发者。
sabicap · 工具包
基于 Qwen3.8-27B、用开源强化学习环境训练的 27B 智能体文本模型,报告了更高的终端和编程智能体得分,适合构建编程和调用工具智能体的开发者。
Qwen · 工具包
在 llama.cpp 或 Ollama 中运行量化后的 Qwen3-8B GGUF 文件,有用于数学、代码和逻辑的思考模式,也有用于聊天的普通模式。适合想要本地模型并能选择文件大小的人。
feder-cr · 工具包
一个本地决策模型,在笔记本 CPU 上约 28 到 130 毫秒就能回答关于文本的是非、选择和打分问题,为每个答案返回概率。适合想要免费本地方案、替代云端决策 API 的开发者。
empero-ai · 工具包
Empero 的 Qwen3.8-9B 的 GGUF 量化版本,一个由更大的 Qwen3.8 蒸馏到 Qwen3.5-9B 架构里的推理模型,适用于 llama.cpp、Ollama、LM Studio 等工具。
yuxinlu1 · 工具包
Google Gemma 4 12B 指令模型的 GGUF 微调版本,面向编程和使用工具的智能体工作,只需约 4.5 GB 空闲内存就能离线运行。
thinkingmachines · 工具包
读取文字、图片和音频并写出文字,是一个庞大的开放多模态模型,适合编码助手、智能体和聊天机器人。适合有多 GPU 服务器或托管 API 的开发者。
Qwen · 工具包
Qwen 的 8.2B 开放语言模型,可在处理难题的思考模式和日常聊天的普通模式之间切换,支持工具调用和 100 多种语言。
nvidia · 工具包
NVIDIA 把阿里巴巴 Qwen3.8-27B 压缩成 4 位 NVFP4 的版本,用 Model Optimizer 制作,面向 Blackwell GPU,输入文字、图片和视频,输出文字。
KRAFTON · 工具包
能聊天和推理,尤其擅长韩语,并可执行调用工具的智能体任务。这是一个 28.8B 的混合专家模型,每个词元激活 4.3B 参数,上下文 262,144 个词元。KRAFTON AI 的预览版本。
empero-ai · 工具包
用十种尺寸的 GGUF 文件运行一个 35B 混合专家模型,每个 token 约 3B 参数在工作,另附视觉投影文件。适合 llama.cpp、Ollama、LM Studio、Jan 和 KoboldCpp 用户。
unsloth · 工具包
Unsloth 制作的 Qwen3.5-4B GGUF 量化版本,一个能读图片和文字并用文字回答的小模型,适合在本地运行模型的人。
unsloth · 工具包
在你自己的硬件上运行 Unsloth 的 GLM-5.3-Flash 文本模型 GGUF 版本,作者把这个大型开源模型定位于编码和智能体工作。适合内存充足的人。
Qwen · 工具包
最小的 Qwen3 对话模型,基于 Qwen3-0.6B-Base 构建。它能在思考模式和更快的普通模式之间切换,支持 100 多种语言和 32,768 token 的上下文,在普通硬件上也能运行。
lightonai · 工具包
读取文档页面图片,返回 markdown 文本,或带边界框的标注块、图片描述和图表数据。适合构建 OCR 和文档理解流程的开发者。
lightonai · 工具包
LightOn 的 0.8B 小型 OCR 模型,把页面图片读成 markdown,在 grounding 模式下还会给每个区块标上边界框。是 LightOnOCR-3 系列中快速、轻量的尺寸。
deepseek-ai · 工具包
用 684B 的推理模型生成文本,该模型主要通过强化学习训练,面向数学、代码和逻辑。适合自己托管大型开源模型的研究人员和团队。
DeepHat · 工具包
面向网络安全和 DevOps 工作的 7B 编程模型,由 Qwen2.5-Coder-7B 微调而来。适合想要本地小模型的安全和运维工程师,须遵守附加的使用限制。
Apexintelligence-AI · 工具包
用于编程、工具使用、问答、搜索和研究任务的文本模型,基于 Qwen3.6-35B-A3B,每个词元约用 3B 参数。适合开发者和研究者。
zai-org · 工具包
读取文档图像中的文字、公式和表格,并从中提取结构化信息,支持八种语言。这是 zai-org 的小型 OCR 模型,面向开发者和文档处理流水线。
unsloth · 工具包
通过 Unsloth 的 GGUF 文件在本地运行 Qwen3.6-35B-A3B,带多词元预测,让 llama.cpp 解码更快。适合想要本地智能体编程模型的开发者。
unsloth · 工具包
用 Unsloth 的 GGUF 文件运行 Flint,这是面向编程智能体的 39.8B 混合专家模型,每个词元只用约 2.5B 参数。适合在本地运行编程智能体的开发者。
reflection · 工具包
Reflection 推出的开放指令微调文本模型,501B 参数,每次激活 23B,上下文 1M token,面向编程、工具使用和推理。需要大型多 GPU 服务器才能运行。
Qwen · 工具包
为研究人员和开发者提供带视觉编码器的预训练 9B 基础模型,用于微调和实验,而不是直接聊天。能处理文本和图像。
Qwen · 工具包
用 4B 的 Qwen3 模型生成文本,可在处理难题的思考模式和快速聊天的普通模式之间切换。适合想用小型聊天模型的开发者。
ML-Intern-lab · 工具包
用一个小型 Qwen3.5-0.8B 模型一步步解数学题,它的权重由一个 LLM 直接修改,没有经过训练,用来消除重复循环。适合研究人员和想试验权重编辑的人。
kusuriya-labs · 工具包
一个把 Qwen3.8-27B 剪掉一半层数再重新训练的实验,得到一个 14.7B 的日英模型,作者称它目前还不实用。
Jackrong · 工具包
作为 Qwen3.8-27B 的 GGUF 微调版,帮你写代码并胜任会调用工具的智能体任务,用约 20 万条代码、智能体和推理样例训练。适合在自己电脑上运行模型的开发者。