Qwen2.5-7B-Instruct-GGUF
Qwen · 工具包
Qwen2.5-7B-Instruct 的 GGUF 文件,提供八种量化大小,可通过 llama.cpp 在本地聊天。适合想在自己电脑上用 7.6B 强力模型、又不想搭 Python 环境的人。
Qwen · 工具包
Qwen2.5-7B-Instruct 的 GGUF 文件,提供八种量化大小,可通过 llama.cpp 在本地聊天。适合想在自己电脑上用 7.6B 强力模型、又不想搭 Python 环境的人。
Zhanli-Li · 工具包
用多轮智能体强化学习在 DataWorld 任务上调优的 Qwen3.6-35B-A3B 模型,面向会调用工具的智能体。适合部署大型混合专家模型的团队。
Qwen · 工具包
把一张图片拆成几个透明的 RGBA 图层,这样你可以重新上色、缩放、移动或替换其中一块,而不影响其他部分。适合有 CUDA 显卡的设计师和开发者。
empero-ai · 工具包
逐步推理数学、代码和一般问题,每个回答都以思考块开头。这是用更大的 Qwen3.8 教师模型的轨迹训练出的 9B Qwen3.5 模型,适合单张 GPU 使用。
prithivMLmods · 工具包
用早期预览版 Qwen3.5-4B 微调模型的 GGUF 副本写代码,并生成自包含的 Three.js 交互 3D 场景页面。适合在本地做 3D 场景原型的开发者。
dBenf · 工具包
回答关于卫星图像块的类型化问题,使用 Sentinel-2 的全部 12 个波段,为每个选项返回概率,不生成文字。这是 Qwen3.5-0.8B 的微调版本,适合地球观测研究者。
z-lab · 工具包
GGUF 格式的草稿模型,通过提出词元块让主模型验证来加速 Qwen3.8-27B。适合在本地用 llama.cpp 运行该模型的人。
unsloth · 工具包
在 NVIDIA 显卡上用 vLLM 运行 Unsloth 制作的快速 NVFP4 版 Qwen3.6 35B A3B。卡片说它的吞吐量是其他 NVFP4 版本的 1.79 倍,并且能放进 32 GB 显卡。
unsloth · 工具包
在本地处理智能体编码和图文任务,是 Unsloth 提供的 Qwen3.6-27B 的 GGUF 文件,支持思考保留和长上下文。适合运行本地编码智能体的开发者。
unsloth · 工具包
Unsloth 制作的带多 token 预测的 Qwen3.5-4B 的 GGUF 文件,让 llama.cpp 使用推测解码,生成速度约快 1.5 到 2 倍。适合在本地运行小型多模态模型的人。
unsloth · 工具包
unsloth 量化的 Qwen3-30B-A3B GGUF 文件,用于在 llama.cpp、Ollama 或 Open WebUI 里运行本地聊天和推理模型,思考模式可以逐轮开关。
unsloth · 工具包
把 Qwen3 14B 做成 GGUF 文件,可在你自己的电脑上运行。这个文本生成模型既能深入思考难题,也能快速作答。由 unsloth 打包,适合在本地运行模型的人。
unsloth · 工具包
在你自己的电脑上编写、解释和修复代码,是 Unsloth 提供的 Qwen2.5-Coder 7B 指令模型的 GGUF 副本。适合想要本地编码助手的开发者。
trevest · 工具包
把 Cloudflare Clef 的决策头加到 Qwen3.8-27B 聊天模型上,让一台 24 GB GPU 上的 llama.cpp 服务器既能回答带类型的问题,也能聊天。它是 LoRA 适配器,不是独立模型。
torchcast-ai · 工具包
基于 Qwen3.5-4B 的 4B 决策模型,一次推理就返回是非概率、选项分布和分数分布,不生成文本。适合英文分类、路由和评分标准检查。
summerAIO · 工具包
用经过微调、采用 Gated DeltaNet 层的 27B 模型,对整本书长度的文字做摘要、问答和续写,支持英语和日语。适合处理长文档的人。
SparkAudio · 工具包
用基于 Qwen2.5 的模型把文字念成中文和英文语音,支持零样本声音克隆,也能按性别、音高和语速创建虚拟声音。适合做语音的开发者和研究人员。
Shockem · 工具包
缩短 Qwen3.8-27B 在编程任务上的推理长度,让答案更快出来,以一个小型 LoRA 适配器的形式提供。适合在自己硬件上运行基础模型的人。
Serveurperso · 工具包
这个模型通过 C++ 运行时 qwentts.cpp,在 CPU、CUDA、Metal 或 Vulkan 上用多种语言朗读文本,有命名说话人和普通话方言,还能用一段短录音克隆声音。适合想在本地做文字转语音的开发者。
samliumay · 工具包
一个用于 Qwen3-4B 的小型研究适配器,让模型充当诱饵。发现有人套取机密时,它会向本地收集器发出无声警报,然后给出编造的值。仅限实验室使用。
sainez · 工具包
把一个 9B 的编程和工具调用模型做成一个 3.64 GiB 的 GGUF 文件,以约 3.5 比特每权重量化,方便在你自己的机器上运行。
rapid-mlx · 工具包
一个压缩到每个权重 3.5 位的 27B 视觉语言模型,适用于 24 GB 内存的 Apple Silicon Mac,通过 Rapid-MLX 在本地提供服务。适合想要本地模型和智能体后端的 Mac 用户和开发者。
RadixArk · 工具包
Qwen3.8-27B 的预量化 NVFP4 版本,能读取文字、图片和视频并用文字回答,通过 SGLang 在 NVIDIA Blackwell 显卡上提供服务。适合在该硬件上运行智能体、聊天机器人和 RAG 的开发者。
Qwen · 工具包
这个模型同时读图像和文字并用文字回答,是总参数 122B、激活参数 10B 的混合专家模型。适合有大型 GPU 服务器、想用开源视觉语言模型做推理、编程和智能体的团队。
Qwen · 工具包
通过 mlx 库运行 Qwen3 8B 语言模型,用于聊天、推理、翻译和智能体任务。适合想在本地使用可切换思考模式的文本模型的开发者。
Qwen · 工具包
一个 30.5B 的混合专家聊天模型,GGUF 格式,每个词元只激活 3.3B 参数,可在 llama.cpp 或 ollama 里运行。有思考和普通两种模式,适合机器配置较高的开发者。
Qwen · 工具包
一个 0.6B 的小型 GGUF 聊天模型,可在 llama.cpp 或 ollama 里本地运行,并能在思考和普通回复之间切换。适合硬件一般的用户和测试本地模型的开发者。
Qwen · 工具包
作为 7.6B 的基础语言模型来补全和生成代码,开发者可以运行它、微调它,或用于代码中间填充任务。适合制作编程工具的人。
Qwen · 工具包
一个 32B 代码聊天模型的 GGUF 版本,可用 llama.cpp 在本地运行。能根据简单请求编写、解释和修复代码,适合想在自己机器上运行的开发者。
Qwen · 工具包
这是一个仅 494M 参数的对话模型,能写代码、解释代码、修代码,上下文为 32,768 个 token。适合想在笔记本、测试环境或本地小助手里用最小开源 Qwen 编程模型的开发者。
Qwen · 工具包
Qwen2.5-7B-Instruct 的 4 位 AWQ 版本,一个 7.6B 的聊天模型,能遵循指令、处理表格并返回 JSON。适合想要更小内存占用的强力聊天模型的开发者。
Qwen · 工具包
这是一个 14.7B 参数的对话模型,能回答问题、写代码、做数学题并输出结构化 JSON,上下文最长 131,072 个 token。适合想自己运行开源模型的开发者。
Qwen · 工具包
Qwen2.5 里最小的基础模型,约 4.94 亿参数,上下文 32,768 个词元,用来在你自己的数据上继续训练。适合想在微型语言模型上搭建的开发者。
Qwen · 工具包
名为 Q-Judger 的评审模型,对照提示词给 AI 生成的图像打分,涵盖五组标准,并以 JSON 回复。适合测试文生图模型的人。
Qwen · 工具包
根据英文或中文提示词生成图片,在人物真实感、自然细节和图中文字上比八月的 Qwen-Image 更好。适合使用 diffusers 的开发者和设计师。
Qwen · 工具包
基于 Qwen3.5-4B 的驾驶模型,能做 3D 感知、回答道路场景问题并规划车辆未来路径。适合研究自动驾驶的研究者。
QUASAR-QAT · 工具包
以 4-bit NVFP4 运行 Qwen3.8-27B,仅 19.7 GB,用 QUASAR 方法训练,使它接近完整的 BF16 模型。适合在 NVIDIA Blackwell GPU 上用 vLLM 部署的人。
NicoLab28 · 工具包
让小型 Qwen3-VL 在 ComfyUI 里代替 MiniMax H3 的 32B 文本编码器,把显存从 15.7 GB 降到 4.5 GB。这是需要自定义节点的概念验证项目。
NexaAI · 工具包
在本地运行 Qwen2-Audio,用语音聊天并分析音频,包括语音翻译、转写和声音检测。这是用于 Nexa-SDK 的 GGUF 副本,适合想在自己设备上用音频 AI 的人。
nazeshinjite · 工具包
一个 GGUF 草稿模型,通过推测解码让 llama.cpp 里的 Qwen3.8-Flash-Next 更快,文件有 334 MiB 和 622 MiB 两种。它不是独立模型,适合在本地运行该目标模型的人。
mradermacher · 工具包
一个 27.3B、经过编程蒸馏的 Qwen3.8 模型的 GGUF 量化文件,从 2 位到 8 位,另有可选的多模态补充文件。适合在本地运行编程模型、需要一个放得进内存的尺寸的开发者。
mlx-community · 工具包
Qwen3.6-35B-A3B 的 4-bit MLX 转换版,可在 Apple Silicon Mac 上回答文本和图片提示词。适合想用 mlx-vlm 在本地运行这个 Qwen 模型的人。
miromind-ai · 工具包
一个开放的研究智能体模型,能在长上下文中推理,并在每个任务里多次调用工具查找信息。基于 Qwen3-8B 的 8B 版本,适合在自己硬件上运行研究智能体的开发者。
manuelgscom · 工具包
根据西班牙语或英语的日常提问,写出只读的 MongoDB 聚合管道。这是 Qwen3.5-9B 微调版的 GGUF 副本,可用 llama.cpp 在本地运行,适合想用日常语言查询数据的开发者。
lordx64 · 工具包
回答前会在明确的思考块里推理,用约 8k 条 Claude Opus 4.7 的推理轨迹调优。这是 35B 混合专家的 Qwen3.6 变体,适合困难的数学、科学、代码和规划。
lmstudio-community · 工具包
在 Apple Silicon Mac 上运行 8 位 MLX 版本的 27B 图文模型,适合想在本地回答图片问题的人。
Jundot · 工具包
把 Qwen3.8-27B 做成 8 位混合精度的 MLX 检查点,带视觉编码器和 MTP 头,用于苹果硬件上的图文聊天。适合想在本地得到接近完整质量的人。
Jundot · 工具包
在 MLX 上以约 17.5 GB 运行 27B 的 Qwen3.8 视觉语言模型,能读取文字、图片和视频,上下文为 262,144 个 token。这是 Jundot 的混合精度量化版本,适合内存有限的人。
JoyIndustrial · 工具包
用内置 OCR 的 Qwen3.8-27B 决策系统,针对图像和文字回答选择题式的问题,并给出各选项的概率。适合需要从图片得到结构化选择的开发者。
Joakimpalm-Zen · 工具包
把 Qwen3.8-27B 压成重新训练过缩放值的 3 位 IQ3_S GGUF。这是给研究量化的人用的研究文件,不是原模型的忠实替身。
Jackrong · 工具包
为长时间的智能体任务缩短推理时间、降低成本,是 Qwen3.8-27B 微调模型的 GGUF 版本。适合在自己机器上跑智能体循环、想让每一轮更快的人。
Jackrong · 工具包
在 think 标签里一步步思考问题,是用推理链微调的 4B Qwen3.5 模型,以 GGUF 打包。适合想在自己电脑上运行小型推理模型的人。
以 MLX 格式、6 位运行一个只有 0.8B 的推理调优聊天小模型,转换自 Jackrong 的 Qwen3.5 蒸馏模型。适合想在 Mac 上用一个很小本地模型的人。
IteraCompute · 工具包
用 vLLM 在一块 RTX 5090 上以 NVFP4 运行 Qwen3.8-27B,带校验和验证的下载、FP8 KV 缓存、工具调用和推理支持。适合在 Blackwell GPU 上自托管大模型的开发者。
IsValorum · 工具包
一个仅支持英文的编程模型,GGUF 格式,42.6B 参数的混合专家量化版,约 21.8 GB,用于在 llama.cpp 或 LM Studio 里做代码补全、重构和智能体工具调用。
ISTA-DASLab · 工具包
用 GSQ(Gumbel-Softmax 量化)制作的 Qwen3.6-35B-A3B 的 2 位量化副本,用小得多的内存保留大部分推理和编程能力。需配合打过补丁的 vLLM 使用。
hesamation · 工具包
以四种量化大小的 GGUF 文件在你自己的机器上运行推理微调的 Qwen3.6-35B-A3B,训练数据是 Claude Opus 4.6 风格的推理数据。适合想在本地获得逐步推理回答的人。
ggml-org · 工具包
通过 llama.cpp 在你自己的机器上运行 Qwen2.5-Coder 1.5B 的 Q8_0 GGUF 文件,可以用命令行,也可以做成本地服务器。适合想用小型代码模型的开发者。
erkamk · 工具包
用一段简短参考录音选定声音,朗读土耳其语文本。这是基于 Qwen3-TTS 的 199M 文本转语音模型,小到可以在笔记本上运行。
Egzakta · 工具包
在 vLLM 上运行 FP8 格式的 27B 图文模型。和同规模的 Qwen 模型相比,它推理时用的词元少得多。适合自己托管模型的人。
Egzakta · 工具包
能处理图像和文字,推理时用的思考 token 比基座 Qwen3.8-27B 更少,据模型卡称,在相近的准确率下回答时间约减半。另有 FP8 和 GGUF 版本。
Edge0 · 工具包
用 Whisper 风格的音频编码器加 Qwen 解码器,把多种语言的语音转成文字。适合需要多语言转写的开发者和研究者,卡里给出了英文和中文的结果。
dmeight · 工具包
在 Apple silicon 的 LM Studio 里,通过 Splash 运行时以 8-bit 运行 Qwen3.8-27B。这是一个非官方的包,比 4-bit 版本更接近原始模型,但速度更慢。
cstr · 工具包
用 Qwen3-ASR-1.7B 的量化 GGUF 文件,在 CrispASR 里把语音、歌声和歌曲转成文字或英文。适合想在本地转写 30 种语言和 22 种中文方言的人。
crucible-labs · 工具包
在 8.78 GiB 的 GGUF 文件里运行经过剪枝和量化的 Qwen3.6-35B-A3B,供 llama.cpp 使用,比第一版更接近未量化的权重。适合内存有限的人。
ConwayResearch · 工具包
这是一个紧凑的 4.2B 文本生成模型,基于 Qwen 3 4B 后训练,更适配 Underdog 自己的配套环境,并量化为 4-bit MLX 格式。适合在非商业场景下运行小型本地模型的人。
continuedev · 工具包
预测你在代码里接下来可能做的修改。这是 Continue 推出的 7.6B 模型,基于 Qwen2.5-Coder-7B 微调,适合想在自己电脑或服务器上运行它的开发者。
byteshape · 工具包
Qwen3.5-9B 的 GGUF 副本,这个模型能读文字和图像,用 ByteShape 的 ShapeLearn 压缩,面向 llama.cpp。有 GPU 和 CPU 的版本,大小约从 3 GB 到 5.7 GB。
Bhavu02 · 工具包
可在图片里替换人脸、头部或整个人物的 LoRA 附加模型,适用于 Qwen Image Edit、Flux 2 Klein 和 Krea 2。适合有权使用相关人脸的图像编辑者。
bartowski · 工具包
Qwen3.5-4B 的 imatrix GGUF 量化版本,这是一个带 MTP 层的 4.3B 图文模型,4 位文件约 3 GB。适合在本地运行小模型的人。
barozp · 工具包
面向 Apple Silicon 的 4 位 MLX 版本,来自从稠密的 Qwen3.8-27B 切出来的混合专家模型,总参数 27B,激活 17.8B。适合用 mlx-lm 运行本地模型的人。
axiomofmind · 工具包
MOSS-Image-SFT 扩散 Transformer 的非官方 GGUF 文件,有 Q8_0 和 Q4_K_S 两种,用 stable-diffusion.cpp 在本地做文字生成图像。需要另外准备 Qwen3.5-9B 编码器、分词器和 VAE。
autotrust · 工具包
在 DGX Spark 上把 Qwen3.8-27B NVFP4 的解码速度提高约 3.9 倍,权重不变,只靠调好的推测解码配置。适合在 Blackwell GPU 上用 vLLM 部署它的团队。
amd · 工具包
把 Qwen3.8-27B 运行为用 AMD Quark 和 AWQ 做出的更小的 MXFP4 量化版本,通过 vLLM 提供服务。适合想要压缩版 27B 视觉语言模型、并看重公开 GSM8K 分数的开发者。
yunpeng1998 · 工具包
通过在视频潜变量上复用图像编辑模型,根据文字指令编辑视频,只加了轻量的可训练投影。适合想做指令式编辑的视频创作者和研究人员。
unsloth · 工具包
在你自己的机器上读取文字和图片、编写代码并调用工具,使用 Unsloth 刷新后的 Qwen3.5 35B-A3B 视觉语言模型 GGUF 文件。适合运行本地智能体的开发者。
tencent · 工具包
为 Qwen3-8B 的推测解码一次起草多个词元,让模型服务器一次检查它们。适合推理工程师和推测解码研究人员。
Qwen · 工具包
作为最小的指令微调 Qwen2.5 模型回答对话提示,约 0.5B 参数。适合想要轻量本地模型来做对话、结构化输出和测试的开发者。
agentionai · 工具包
把 Qwen3.8-27B 打包成适用于 llama.cpp 的 GGUF 文件,有八种大小,从 8.95 到 16.35 GiB,另附视觉投影器。作者称在每个大小上,它与 BF16 模型的偏离都比其他量化版本小。
Accio-Lab · 工具包
Accio-Lab 推出的开放 35B 图文模型,基于 Qwen3.6-35B-A3B,提供 BF16、GGUF、FP8、NVFP4 和 MLX 格式。适合部署大模型的团队。
0xKitkat · 工具包
把 Qwen3.8-Flash-Next 混合专家模型压缩成约 37 GiB 的纯文本 GGUF 文件,供实验使用。它需要发布包里附带的补丁版 llama.cpp 才能运行。
JuneoAI · 工具包
通过一次推理给候选选项打分,帮助组织决定谁来做任务、谁能看到信息、运行什么以及接受什么。这是基于 Qwen3.8-27B 的 27.4B 模型,权重以 Apache-2.0 开放。
ZhuYuhan · 工具包
找出视频里某件事发生的时间,并回答关于视频的选择题,方式是直接给候选项打分。基于 Qwen3.5-4B,适合视频研究者和开发者。
webbrain-one · 工具包
用约 2 GB 的 GGUF 文件运行被压缩成三值权重的 Qwen3.5-9B,可在两个 llama.cpp 变体里用 CPU 运行。适合尝试极端压缩的研究预览版。
WarmBloodAban · 工具包
两个用于 Qwen-Image 2.1 图像编辑的 LoRA 插件:一个让动漫角色保持一致,另一个把任意风格的画面变成写实的人物。适合用 AI 编辑图片的人。
vishnuOI · 工具包
解答 Unity 游戏开发问题,编写 C# 脚本、XR 代码和编辑器工具,是 Qwen2.5-Coder-7B-Instruct 的微调版本。适合想要本地编码助手的 Unity 开发者。
unsloth · 工具包
用 Qwen3.6 27B 写代码和推理,提供 Unsloth 制作的、带多词元预测的 GGUF 文件,卡片说回复能快约 1.5 到 2 倍,且不损失准确度。为编程智能体而做。
unsloth · 工具包
在 llama.cpp 里运行小型的 Qwen3.5 0.8B 视觉语言模型,借助多 token 预测加快生成,使用 Unsloth 的 GGUF 文件。适合测试推测解码的开发者。
TokenRhythm · 工具包
从 Qwen3.5-9B 后训练而来的 9B 文本模型,面向智能体框架、工具调用、编程和指令遵循,只发布文本权重。适合在自己硬件上运行智能体的开发者。
THUSI-Lab · 工具包
基于 Qwen3.5-0.8B 的小型视觉语言模型,来自一个面向多种虚拟游戏世界中具身智能体的持续预训练研究项目。适合研究游戏智能体的研究者。
tahamajs · 工具包
把 Qwen2.5-0.5B 的 24 层注意力中的 18 层换成分层块注意力算子,再在 WikiText-2 上蒸馏。这是用于研究注意力改造的研究检查点,不是成品聊天模型。
tahamajs · 工具包
把 Qwen2.5-0.5B 的 24 层注意力中的 18 层换成混合专家注意力块,再在 WikiText-2 上蒸馏。这是用于研究注意力改造的研究检查点,不是成品聊天模型。
spacepxl · 工具包
把 Wan2.1 的 VAE 解码器换成能 2 倍放大并消除斑点和颗粒噪声的版本,可用于 ComfyUI 和 diffusers。适合用 Wan 或 Qwen 模型生成图像的人。
Qwen · 工具包
这个模型在语言模型还在写字的时候逐个 token 检查文本的安全性,把每一部分判为安全、有争议或不安全,覆盖 119 种语言和方言。适合要给聊天或生成应用加上实时内容审核的开发者。
Qwen · 工具包
一个小型安全审核模型,把提示或模型回复标为安全、有争议或不安全,并指出风险类别,支持 119 种语言。适合筛查聊天输入和输出的开发者。
Qwen · 工具包
这个 0.6B 的 GGUF 格式模型把文本变成数字向量,用于 100 多种语言的搜索、检索和聚类。适合要在自己机器上做搜索或相似度功能的开发者。
Qwen · 工具包
提供 Qwen3 1.7B 小型对话模型的 q8_0 GGUF 文件,供 llama.cpp 使用,可在思考与非思考回复之间切换。适合想要轻量本地助手的人。
Qwen · 工具包
作为 1.7B 的基础语言模型来续写文本和代码,预训练覆盖 119 种语言。适合想用小模型做微调或测试的开发者。
Qwen · 工具包
一个紧凑的 1.7B 聊天模型,可在用于推理的思考模式和用于对话的快速模式之间切换。适合想用小型开放模型做聊天、翻译和智能体功能的开发者。
Qwen · 工具包
一个视觉语言模型,能把图片、文档和视频与文字问题一起理解并用文字回答。适合围绕图表、扫描件、屏幕和视频片段开发应用的开发者。