开发者 AI 技能与智能体

DataWorld-35B-A3B

Zhanli-Li · 工具包

用多轮智能体强化学习在 DataWorld 任务上调优的 Qwen3.6-35B-A3B 模型，面向会调用工具的智能体。适合部署大型混合专家模型的团队。

Qwen3.8-9B-Distill

empero-ai · 工具包

逐步推理数学、代码和一般问题，每个回答都以思考块开头。这是用更大的 Qwen3.8 教师模型的轨迹训练出的 9B Qwen3.5 模型，适合单张 GPU 使用。

Qwen3.5-4B-3D-Coder-GGUF

prithivMLmods · 工具包

用早期预览版 Qwen3.5-4B 微调模型的 GGUF 副本写代码，并生成自包含的 Three.js 交互 3D 场景页面。适合在本地做 3D 场景原型的开发者。

Qwen3.8-27B-DFlash2-GGUF

z-lab · 工具包

GGUF 格式的草稿模型，通过提出词元块让主模型验证来加速 Qwen3.8-27B。适合在本地用 llama.cpp 运行该模型的人。

Qwen3.6-35B-A3B-NVFP4-Fast

unsloth · 工具包

在 NVIDIA 显卡上用 vLLM 运行 Unsloth 制作的快速 NVFP4 版 Qwen3.6 35B A3B。卡片说它的吞吐量是其他 NVFP4 版本的 1.79 倍，并且能放进 32 GB 显卡。

Qwen3.6-27B-GGUF

unsloth · 工具包

在本地处理智能体编码和图文任务，是 Unsloth 提供的 Qwen3.6-27B 的 GGUF 文件，支持思考保留和长上下文。适合运行本地编码智能体的开发者。

Qwen3.5-4B-MTP-GGUF

unsloth · 工具包

Unsloth 制作的带多 token 预测的 Qwen3.5-4B 的 GGUF 文件，让 llama.cpp 使用推测解码，生成速度约快 1.5 到 2 倍。适合在本地运行小型多模态模型的人。

Qwen3-30B-A3B-GGUF

unsloth · 工具包

unsloth 量化的 Qwen3-30B-A3B GGUF 文件，用于在 llama.cpp、Ollama 或 Open WebUI 里运行本地聊天和推理模型，思考模式可以逐轮开关。

Qwen3-14B-GGUF

unsloth · 工具包

把 Qwen3 14B 做成 GGUF 文件，可在你自己的电脑上运行。这个文本生成模型既能深入思考难题，也能快速作答。由 unsloth 打包，适合在本地运行模型的人。

Clef-LoRA-for-Qwen3.8-27B-GGUF

trevest · 工具包

把 Cloudflare Clef 的决策头加到 Qwen3.8-27B 聊天模型上，让一台 24 GB GPU 上的 llama.cpp 服务器既能回答带类型的问题，也能聊天。它是 LoRA 适配器，不是独立模型。

Torchcast Decision 4B

torchcast-ai · 工具包

基于 Qwen3.5-4B 的 4B 决策模型，一次推理就返回是非概率、选项分布和分数分布，不生成文本。适合英文分类、路由和评分标准检查。

Qwen3.8-27b-Terse-Coder-LoRA

Shockem · 工具包

缩短 Qwen3.8-27B 在编程任务上的推理长度，让答案更快出来，以一个小型 LoRA 适配器的形式提供。适合在自己硬件上运行基础模型的人。

Qwen3-TTS GGUF

Serveurperso · 工具包

这个模型通过 C++ 运行时 qwentts.cpp，在 CPU、CUDA、Metal 或 Vulkan 上用多种语言朗读文本，有命名说话人和普通话方言，还能用一段短录音克隆声音。适合想在本地做文字转语音的开发者。

Qwen3-4B P9 Honeypot

samliumay · 工具包

一个用于 Qwen3-4B 的小型研究适配器，让模型充当诱饵。发现有人套取机密时，它会向本地收集器发出无声警报，然后给出编造的值。仅限实验室使用。

Qwen3.8-27B-mixed-3.5bpw-MLX

rapid-mlx · 工具包

一个压缩到每个权重 3.5 位的 27B 视觉语言模型，适用于 24 GB 内存的 Apple Silicon Mac，通过 Rapid-MLX 在本地提供服务。适合想要本地模型和智能体后端的 Mac 用户和开发者。

Qwen3.8-27B-NVFP4

RadixArk · 工具包

Qwen3.8-27B 的预量化 NVFP4 版本，能读取文字、图片和视频并用文字回答，通过 SGLang 在 NVIDIA Blackwell 显卡上提供服务。适合在该硬件上运行智能体、聊天机器人和 RAG 的开发者。

Qwen3.5-122B-A10B

Qwen · 工具包

这个模型同时读图像和文字并用文字回答，是总参数 122B、激活参数 10B 的混合专家模型。适合有大型 GPU 服务器、想用开源视觉语言模型做推理、编程和智能体的团队。

Qwen3-8B-MLX-bf16

Qwen · 工具包

通过 mlx 库运行 Qwen3 8B 语言模型，用于聊天、推理、翻译和智能体任务。适合想在本地使用可切换思考模式的文本模型的开发者。

Qwen3-30B-A3B-GGUF

Qwen · 工具包

一个 30.5B 的混合专家聊天模型，GGUF 格式，每个词元只激活 3.3B 参数，可在 llama.cpp 或 ollama 里运行。有思考和普通两种模式，适合机器配置较高的开发者。

Qwen3-0.6B-GGUF

Qwen · 工具包

一个 0.6B 的小型 GGUF 聊天模型，可在 llama.cpp 或 ollama 里本地运行，并能在思考和普通回复之间切换。适合硬件一般的用户和测试本地模型的开发者。

Qwen3.8-27B-QUASAR-NVFP4

QUASAR-QAT · 工具包

以 4-bit NVFP4 运行 Qwen3.8-27B，仅 19.7 GB，用 QUASAR 方法训练，使它接近完整的 BF16 模型。适合在 NVIDIA Blackwell GPU 上用 vLLM 部署的人。

ClipProj-MiniMax-H3

NicoLab28 · 工具包

让小型 Qwen3-VL 在 ComfyUI 里代替 MiniMax H3 的 32B 文本编码器，把显存从 15.7 GB 降到 4.5 GB。这是需要自定义节点的概念验证项目。

Qwen3.8-Flash-Next-DFlash2-GGUF

nazeshinjite · 工具包

一个 GGUF 草稿模型，通过推测解码让 llama.cpp 里的 Qwen3.8-Flash-Next 更快，文件有 334 MiB 和 622 MiB 两种。它不是独立模型，适合在本地运行该目标模型的人。

Qwen3.8-27B Fable-5 Coding Distilled GGUF

mradermacher · 工具包

一个 27.3B、经过编程蒸馏的 Qwen3.8 模型的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行编程模型、需要一个放得进内存的尺寸的开发者。

Qwen3.6-35B-A3B-4bit

mlx-community · 工具包

Qwen3.6-35B-A3B 的 4-bit MLX 转换版，可在 Apple Silicon Mac 上回答文本和图片提示词。适合想用 mlx-vlm 在本地运行这个 Qwen 模型的人。

askmdb-9b-GGUF

manuelgscom · 工具包

根据西班牙语或英语的日常提问，写出只读的 MongoDB 聚合管道。这是 Qwen3.5-9B 微调版的 GGUF 副本，可用 llama.cpp 在本地运行，适合想用日常语言查询数据的开发者。

Qwen3.8-27B-MLX-8bit

lmstudio-community · 工具包

在 Apple Silicon Mac 上运行 8 位 MLX 版本的 27B 图文模型，适合想在本地回答图片问题的人。

Qwen3.8-27B-oQ8e-mtp

Jundot · 工具包

把 Qwen3.8-27B 做成 8 位混合精度的 MLX 检查点，带视觉编码器和 MTP 头，用于苹果硬件上的图文聊天。适合想在本地得到接近完整质量的人。

Qwen3.8-27B-oQ4e-mtp

Jundot · 工具包

在 MLX 上以约 17.5 GB 运行 27B 的 Qwen3.8 视觉语言模型，能读取文字、图片和视频，上下文为 262,144 个 token。这是 Jundot 的混合精度量化版本，适合内存有限的人。

JDI-Decision-V0.9

JoyIndustrial · 工具包

用内置 OCR 的 Qwen3.8-27B 决策系统，针对图像和文字回答选择题式的问题，并给出各选项的概率。适合需要从图片得到结构化选择的开发者。

Qwopus3.8-27B-Flash-GGUF

Jackrong · 工具包

为长时间的智能体任务缩短推理时间、降低成本，是 Qwen3.8-27B 微调模型的 GGUF 版本。适合在自己机器上跑智能体循环、想让每一轮更快的人。

Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

Jackrong · 工具包

在 think 标签里一步步思考问题，是用推理链微调的 4B Qwen3.5 模型，以 GGUF 打包。适合想在自己电脑上运行小型推理模型的人。

MLX-Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-6bit

Jackrong · 工具包

以 MLX 格式、6 位运行一个只有 0.8B 的推理调优聊天小模型，转换自 Jackrong 的 Qwen3.5 蒸馏模型。适合想在 Mac 上用一个很小本地模型的人。

Qwen3.8-27B-NVFP4 Deployment Edition

IteraCompute · 工具包

用 vLLM 在一块 RTX 5090 上以 NVFP4 运行 Qwen3.8-27B，带校验和验证的下载、FP8 KV 缓存、工具调用和推理支持。适合在 Blackwell GPU 上自托管大模型的开发者。

Qwen3.8-Flash-Coder APEX-I-MiniPlus V2.1 GGUF

IsValorum · 工具包

一个仅支持英文的编程模型，GGUF 格式，42.6B 参数的混合专家量化版，约 21.8 GB，用于在 llama.cpp 或 LM Studio 里做代码补全、重构和智能体工具调用。

Qwen3.6-35B-A3B-2Bit-GSQ

ISTA-DASLab · 工具包

用 GSQ（Gumbel-Softmax 量化）制作的 Qwen3.6-35B-A3B 的 2 位量化副本，用小得多的内存保留大部分推理和编程能力。需配合打过补丁的 vLLM 使用。

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

hesamation · 工具包

以四种量化大小的 GGUF 文件在你自己的机器上运行推理微调的 Qwen3.6-35B-A3B，训练数据是 Claude Opus 4.6 风格的推理数据。适合想在本地获得逐步推理回答的人。

Kvark-Sparkle-1.0-27B

Egzakta · 工具包

能处理图像和文字，推理时用的思考 token 比基座 Qwen3.8-27B 更少，据模型卡称，在相近的准确率下回答时间约减半。另有 FP8 和 GGUF 版本。

Qwen3.8-27B Splash 8-bit

dmeight · 工具包

在 Apple silicon 的 LM Studio 里，通过 Splash 运行时以 8-bit 运行 Qwen3.8-27B。这是一个非官方的包，比 4-bit 版本更接近原始模型，但速度更慢。

Qwen3-ASR-1.7B GGUF

cstr · 工具包

用 Qwen3-ASR-1.7B 的量化 GGUF 文件，在 CrispASR 里把语音、歌声和歌曲转成文字或英文。适合想在本地转写 30 种语言和 22 种中文方言的人。

Qwen 3.6 35B-A3B REAP-48 v2 GGUF

crucible-labs · 工具包

在 8.78 GiB 的 GGUF 文件里运行经过剪枝和量化的 Qwen3.6-35B-A3B，供 llama.cpp 使用，比第一版更接近未量化的权重。适合内存有限的人。

Qwen3.5-9B GGUF (ShapeLearn)

byteshape · 工具包

Qwen3.5-9B 的 GGUF 副本，这个模型能读文字和图像，用 ByteShape 的 ShapeLearn 压缩，面向 llama.cpp。有 GPU 和 CPU 的版本，大小约从 3 GB 到 5.7 GB。

Qwen3.5-4B GGUF

bartowski · 工具包

Qwen3.5-4B 的 imatrix GGUF 量化版本，这是一个带 MTP 层的 4.3B 图文模型，4 位文件约 3 GB。适合在本地运行小模型的人。

Qwen3.8-Whittle-MoE-27B-MLX-4bit

barozp · 工具包

面向 Apple Silicon 的 4 位 MLX 版本，来自从稠密的 Qwen3.8-27B 切出来的混合专家模型，总参数 27B，激活 17.8B。适合用 mlx-lm 运行本地模型的人。

MOSS-Image-SFT GGUF

axiomofmind · 工具包

MOSS-Image-SFT 扩散 Transformer 的非官方 GGUF 文件，有 Q8_0 和 Q4_K_S 两种，用 stable-diffusion.cpp 在本地做文字生成图像。需要另外准备 Qwen3.5-9B 编码器、分词器和 VAE。

Qwen3.8-27B-NVFP4-DGX-SPARK

autotrust · 工具包

在 DGX Spark 上把 Qwen3.8-27B NVFP4 的解码速度提高约 3.9 倍，权重不变，只靠调好的推测解码配置。适合在 Blackwell GPU 上用 vLLM 部署它的团队。

Qwen3.8-27B-Quark-AWQ-MXFP4

amd · 工具包

把 Qwen3.8-27B 运行为用 AMD Quark 和 AWQ 做出的更小的 MXFP4 量化版本，通过 vLLM 提供服务。适合想要压缩版 27B 视觉语言模型、并看重公开 GSM8K 分数的开发者。

Qwen3.5-35B-A3B-GGUF

unsloth · 工具包

在你自己的机器上读取文字和图片、编写代码并调用工具，使用 Unsloth 刷新后的 Qwen3.5 35B-A3B 视觉语言模型 GGUF 文件。适合运行本地智能体的开发者。

DSpine

tencent · 工具包

为 Qwen3-8B 的推测解码一次起草多个词元，让模型服务器一次检查它们。适合推理工程师和推测解码研究人员。

Qwen3.8-27B Agention Precision GGUF

agentionai · 工具包

把 Qwen3.8-27B 打包成适用于 llama.cpp 的 GGUF 文件，有八种大小，从 8.95 到 16.35 GiB，另附视觉投影器。作者称在每个大小上，它与 BF16 模型的偏离都比其他量化版本小。