浏览 AI 技能、智能体和自动化

Qwen3.5-4B GGUF

bartowski · 工具包

Qwen3.5-4B 的 imatrix GGUF 量化版本，这是一个带 MTP 层的 4.3B 图文模型，4 位文件约 3 GB。适合在本地运行小模型的人。

Qwen3.8-Whittle-MoE-27B-MLX-4bit

barozp · 工具包

面向 Apple Silicon 的 4 位 MLX 版本，来自从稠密的 Qwen3.8-27B 切出来的混合专家模型，总参数 27B，激活 17.8B。适合用 mlx-lm 运行本地模型的人。

MOSS-Image-SFT GGUF

axiomofmind · 工具包

MOSS-Image-SFT 扩散 Transformer 的非官方 GGUF 文件，有 Q8_0 和 Q4_K_S 两种，用 stable-diffusion.cpp 在本地做文字生成图像。需要另外准备 Qwen3.5-9B 编码器、分词器和 VAE。

Qwen3.8-27B-NVFP4-DGX-SPARK

autotrust · 工具包

在 DGX Spark 上把 Qwen3.8-27B NVFP4 的解码速度提高约 3.9 倍，权重不变，只靠调好的推测解码配置。适合在 Blackwell GPU 上用 vLLM 部署它的团队。

Qwen3.8-27B-Quark-AWQ-MXFP4

amd · 工具包

把 Qwen3.8-27B 运行为用 AMD Quark 和 AWQ 做出的更小的 MXFP4 量化版本，通过 vLLM 提供服务。适合想要压缩版 27B 视觉语言模型、并看重公开 GSM8K 分数的开发者。

Qwen3.5-35B-A3B-GGUF

unsloth · 工具包

在你自己的机器上读取文字和图片、编写代码并调用工具，使用 Unsloth 刷新后的 Qwen3.5 35B-A3B 视觉语言模型 GGUF 文件。适合运行本地智能体的开发者。

DSpine

tencent · 工具包

为 Qwen3-8B 的推测解码一次起草多个词元，让模型服务器一次检查它们。适合推理工程师和推测解码研究人员。

Qwen3.8-27B Agention Precision GGUF

agentionai · 工具包

把 Qwen3.8-27B 打包成适用于 llama.cpp 的 GGUF 文件，有八种大小，从 8.95 到 16.35 GiB，另附视觉投影器。作者称在每个大小上，它与 BF16 模型的偏离都比其他量化版本小。

Occamy-1.0

Accio-Lab · 工具包

Accio-Lab 推出的开放 35B 图文模型，基于 Qwen3.6-35B-A3B，提供 BF16、GGUF、FP8、NVFP4 和 MLX 格式。适合部署大模型的团队。

Qwen3.8-Flash-Next-125B-UltraLite-37GiB-GGUF

0xKitkat · 工具包

把 Qwen3.8-Flash-Next 混合专家模型压缩成约 37 GiB 的纯文本 GGUF 文件，供实验使用。它需要发布包里附带的补丁版 llama.cpp 才能运行。

Laplace-1-Atlas

JuneoAI · 工具包

通过一次推理给候选选项打分，帮助组织决定谁来做任务、谁能看到信息、运行什么以及接受什么。这是基于 Qwen3.8-27B 的 27.4B 模型，权重以 Apache-2.0 开放。

VideoJev-4B

ZhuYuhan · 工具包

找出视频里某件事发生的时间，并回答关于视频的选择题，方式是直接给候选项打分。基于 Qwen3.5-4B，适合视频研究者和开发者。

OpenBonsai Qwen3.5-9B Ternary

webbrain-one · 工具包

用约 2 GB 的 GGUF 文件运行被压缩成三值权重的 Qwen3.5-9B，可在两个 llama.cpp 变体里用 CPU 运行。适合尝试极端压缩的研究预览版。

Qwen3.6-27B-MTP-GGUF

unsloth · 工具包

用 Qwen3.6 27B 写代码和推理，提供 Unsloth 制作的、带多词元预测的 GGUF 文件，卡片说回复能快约 1.5 到 2 倍，且不损失准确度。为编程智能体而做。

Qwen3.5-0.8B-MTP-GGUF

unsloth · 工具包

在 llama.cpp 里运行小型的 Qwen3.5 0.8B 视觉语言模型，借助多 token 预测加快生成，使用 Unsloth 的 GGUF 文件。适合测试推测解码的开发者。

NeoHorse-1-9B

TokenRhythm · 工具包

从 Qwen3.5-9B 后训练而来的 9B 文本模型，面向智能体框架、工具调用、编程和指令遵循，只发布文本权重。适合在自己硬件上运行智能体的开发者。

GameScaling

THUSI-Lab · 工具包

基于 Qwen3.5-0.8B 的小型视觉语言模型，来自一个面向多种虚拟游戏世界中具身智能体的持续预训练研究项目。适合研究游戏智能体的研究者。

Qwen3Guard-Stream-0.6B

Qwen · 工具包

这个模型在语言模型还在写字的时候逐个 token 检查文本的安全性，把每一部分判为安全、有争议或不安全，覆盖 119 种语言和方言。适合要给聊天或生成应用加上实时内容审核的开发者。

Qwen3Guard-Gen-0.6B

Qwen · 工具包

一个小型安全审核模型，把提示或模型回复标为安全、有争议或不安全，并指出风险类别，支持 119 种语言。适合筛查聊天输入和输出的开发者。

Qwen3-Embedding-0.6B-GGUF

Qwen · 工具包

这个 0.6B 的 GGUF 格式模型把文本变成数字向量，用于 100 多种语言的搜索、检索和聚类。适合要在自己机器上做搜索或相似度功能的开发者。

Qwen3-1.7B-GGUF

Qwen · 工具包

提供 Qwen3 1.7B 小型对话模型的 q8_0 GGUF 文件，供 llama.cpp 使用，可在思考与非思考回复之间切换。适合想要轻量本地助手的人。

Qwen3-1.7B-Base

Qwen · 工具包

作为 1.7B 的基础语言模型来续写文本和代码，预训练覆盖 119 种语言。适合想用小模型做微调或测试的开发者。

Qwen3-1.7B

Qwen · 工具包

一个紧凑的 1.7B 聊天模型，可在用于推理的思考模式和用于对话的快速模式之间切换。适合想用小型开放模型做聊天、翻译和智能体功能的开发者。

Qwen3.8-27B-QSA-GSQ-RCO-GGUF

pentacoxian-dev · 工具包

在一块 24 GB 的 GPU 上，以 262K token 的上下文和图片输入运行带稀疏注意力的 Qwen3.8-27B，是 GGUF 文件，适合有定制版 llama.cpp 引擎的人。

NousCoder-14B

NousResearch · 工具包

为竞赛编程题写代码的模型，在 Qwen3-14B 基础上用强化学习继续训练，训练题共 24k 道，答案都可以检验。适合想在自己电脑上运行代码模型的开发者。

Qwen3.5-0.8B-weight-space-programming-GGUF

NotCherry · 工具包

把 Qwen3.5-0.8B weight-space-programming 模型打包成适用于 llama.cpp 的 GGUF 文件，包括 4 位文本模型和用于图像输入的独立视觉投影文件。

Qwen3.8-27B-CodeForge-3xMerge i1 GGUF

mradermacher · 工具包

Qwen3.8-27B-CodeForge-3xMerge 模型的重要性矩阵 GGUF 量化版，大小约 11 GB 到 22.5 GB，用于本地运行。适合在自己电脑上运行 27B 模型的人。

Qwen3.6-35B-A3B-8bit (MLX)

mlx-community · 工具包

Qwen3.6-35B-A3B 的 8 位 MLX 转换版，能读文字和图像并用文字回答，用 mlx-vlm 工具运行。适合想在本地运行大型视觉语言模型的开发者。

Qwen3.5-9B-OptiQ-4bit

mlx-community · 工具包

Qwen3.5-9B 的 4-bit 混合精度 MLX 版本，用于在 Apple Silicon 上本地生成文本，自带多词元预测头。适合在 Mac 上本地运行模型的人。

Qwen3.5-4B-Router-1M

MaziyarPanahi · 工具包

返回校准概率的小型决策模型，判断智能体下一步该做什么以及该调用哪个工具。适合构建智能体和客服机器人的开发者。

Qwen3.5-4B-Judge-1M

MaziyarPanahi · 工具包

返回校准概率的小型裁判模型，判断回复是否有来源支撑、文本是否不安全，以及属于哪个任务或领域。适合给 AI 流程加检查的开发者。

Temper-2-Nodel

maylore-ai · 工具包

42 亿参数的 Rust 编程模型，基于 Qwen3.5-4B，能回答俄语和英语请求。适合想用小型模型处理函数、trait、泛型和线程的 Rust 开发者。

Qwen3.6-35B-A3B lododo-Distill-v1.0 (GGUF)

lododoai · 工具包

一个可在本地运行的文本模型，是 Qwen3.6-35B-A3B 的微调版本，用 Qwen3.8-27B 生成的数据训练，打包成适用于 llama.cpp 的单个 GGUF 文件。适合在自己机器上跑模型做代码和工具调用的人。

Qwen3.8-27B-Fable-5-Coding-Distilled

khazarai · 工具包

在提出修复方案前先检查真实文件，来调试和评审代码。这是 Qwen3.8-27B 的微调版，用 195M 词元的推理轨迹训练。适合构建编程智能体的开发者。

Qwen3.8-27B-SLQ-GGUF

kaitchup · 工具包

用自定义的统计无损量化，把 Qwen3.8-27B 压成三个体积和保真度各不相同的 GGUF 文件。适合在 llama.cpp 里本地运行这个模型的人。

Qwen3.8-27B-oQ6e-mtp

Jundot · 工具包

Qwen3.8-27B 的混合精度 MLX 副本，约每个权重 6.9 位，包含视觉编码器和多词元预测头，可在 Apple 芯片上本地运行。

Qwen3.6-35B-A3B-oQ6e-mtp

Jundot · 工具包

Qwen3.6-35B-A3B 的混合精度 MLX 副本，约每个权重 6.8 位，包含视觉编码器和多词元预测头，可在 Apple 芯片上本地运行。

Qwen3.8-27B Astra stop edit

jarrodwatts · 工具包

给 Qwen3.8-27B 的一个小型权重修改，附带应用它的脚本，只改动一个矩阵、不需要训练，就能缩短模型在开放式任务上的思考长度。

Qwopus3.8-27B-Flash-V2-GGUF

Jackrong · 工具包

减少长时间智能体任务里被浪费的推理，是 Qwen3.8-27B 第二版 Flash 微调模型的 GGUF 版本，Python 格式更好。适合在本地跑智能体循环的人。

Qwopus3.8-27B-Coder-Flash

Jackrong · 工具包

写代码、调用工具，作为编码智能体处理软件任务。这是 Jackrong 基于 Qwen3.8-27B 的 27.8B 微调模型，用约 200,000 条代码和推理样例训练，适合有强力 GPU 的开发者。

Seb-9B-v2

ironbcc · 工具包

基于 Qwen3.5-9B 的 9B 决策模型。你给它一个情境、一个问题和若干选项，它一次计算就返回每个选项的可能性，不生成任何文字。

Qwen3.8-27B-DFlash2

incoai · 工具包

通过起草一整块 token 让主模型验证，来加速 Qwen3.8-27B，输出保持不变。这是适用于 SGLang 和 vLLM 服务的 1.9B 草稿模型，不是独立的聊天模型。

Holo4-27B

Hcompany · 工具包

查看截图并决定下一步的点击、按键、代码运行或工具调用，基于 Qwen3.8-27B。这是面向网页、桌面和手机智能体的电脑操作模型，采用非商业许可。

Qwen3.8-27B Intel Arc Tuned

Greatjedi · 工具包

提供为 Intel Arc GPU 重新调整的 27B Qwen3.8 GGUF 文件，作者的测试里纯解码约每秒 22 个词元。适合在 Arc 显卡上用 llama.cpp 和 SYCL 的人。

Qwen3-Reranker-0.6B-Q8_0-GGUF

ggml-org · 工具包

按与查询的相关度给段落排序，是 Qwen3 0.6B 重排序模型的 8-bit GGUF 副本，用 llama.cpp 制作。适合想要小型本地重排序模型来做搜索的开发者。

Qwen3.5-4B-SFT-decompiler-O0-full

Divij · 工具包

把反编译器的输出改写成可读的 C 源码，带有有意义的名称和正确的类型。这是在未优化二进制上训练的 Qwen3.5-4B 微调模型，适合安全研究者和逆向工程师。

Qwenputer-npu

divagr1925 · 工具包

一个把小型 RISC-V 计算机内置在权重里的 Qwen3.5-4B 模型，用于精确算术和运行一个微型故事模型。这是给研究 transformer 内部程序的研究者做的实验。

Qwen3.5-4B Qwenputer Filesystem

divagr1925 · 工具包

一个实验性的 Qwen3.5-4B，把 RISC-V CPU 和一个小型文件系统编译进了权重，所以它不用外部工具就能跨会话记住事实。检查点能放进 24 GB 的 GPU。

Qwen3.8 Flash Next Turbo Brilliance 50x GGUF

DavidAU · 工具包

DavidAU 制作的 Qwen3.8-Flash-Next 的 GGUF 版本，有 27 种推理模式、27 种指令模式和 15 个可在提示词里切换的 AI 角色。适合有大显卡或大内存的人。

Qwen3.8-27B-Jumbo-Fusion-IQ-747-900-Turbo-Brilliance-50X

DavidAU · 工具包

DavidAU 对 27B Qwen 模型的 GGUF 微调版，有可切换的指令和推理模式，以及内置的帮助系统。Hugging Face 把它列为图文转文字。供本地运行。