Qwen3.8-9B-Distill
empero-ai · 工具包
逐步推理数学、代码和一般问题,每个回答都以思考块开头。这是用更大的 Qwen3.8 教师模型的轨迹训练出的 9B Qwen3.5 模型,适合单张 GPU 使用。
写代码、审代码用的提示词、编程智能体任务说明和工具包,花更少的 Token。
empero-ai · 工具包
逐步推理数学、代码和一般问题,每个回答都以思考块开头。这是用更大的 Qwen3.8 教师模型的轨迹训练出的 9B Qwen3.5 模型,适合单张 GPU 使用。
z-lab · 工具包
GGUF 格式的草稿模型,通过提出词元块让主模型验证来加速 Qwen3.8-27B。适合在本地用 llama.cpp 运行该模型的人。
trevest · 工具包
把 Cloudflare Clef 的决策头加到 Qwen3.8-27B 聊天模型上,让一台 24 GB GPU 上的 llama.cpp 服务器既能回答带类型的问题,也能聊天。它是 LoRA 适配器,不是独立模型。
Shockem · 工具包
缩短 Qwen3.8-27B 在编程任务上的推理长度,让答案更快出来,以一个小型 LoRA 适配器的形式提供。适合在自己硬件上运行基础模型的人。
rapid-mlx · 工具包
一个压缩到每个权重 3.5 位的 27B 视觉语言模型,适用于 24 GB 内存的 Apple Silicon Mac,通过 Rapid-MLX 在本地提供服务。适合想要本地模型和智能体后端的 Mac 用户和开发者。
RadixArk · 工具包
Qwen3.8-27B 的预量化 NVFP4 版本,能读取文字、图片和视频并用文字回答,通过 SGLang 在 NVIDIA Blackwell 显卡上提供服务。适合在该硬件上运行智能体、聊天机器人和 RAG 的开发者。
QUASAR-QAT · 工具包
以 4-bit NVFP4 运行 Qwen3.8-27B,仅 19.7 GB,用 QUASAR 方法训练,使它接近完整的 BF16 模型。适合在 NVIDIA Blackwell GPU 上用 vLLM 部署的人。
nazeshinjite · 工具包
一个 GGUF 草稿模型,通过推测解码让 llama.cpp 里的 Qwen3.8-Flash-Next 更快,文件有 334 MiB 和 622 MiB 两种。它不是独立模型,适合在本地运行该目标模型的人。
mradermacher · 工具包
一个 27.3B、经过编程蒸馏的 Qwen3.8 模型的 GGUF 量化文件,从 2 位到 8 位,另有可选的多模态补充文件。适合在本地运行编程模型、需要一个放得进内存的尺寸的开发者。
lmstudio-community · 工具包
在 Apple Silicon Mac 上运行 8 位 MLX 版本的 27B 图文模型,适合想在本地回答图片问题的人。
Jundot · 工具包
把 Qwen3.8-27B 做成 8 位混合精度的 MLX 检查点,带视觉编码器和 MTP 头,用于苹果硬件上的图文聊天。适合想在本地得到接近完整质量的人。
Jundot · 工具包
在 MLX 上以约 17.5 GB 运行 27B 的 Qwen3.8 视觉语言模型,能读取文字、图片和视频,上下文为 262,144 个 token。这是 Jundot 的混合精度量化版本,适合内存有限的人。
JoyIndustrial · 工具包
用内置 OCR 的 Qwen3.8-27B 决策系统,针对图像和文字回答选择题式的问题,并给出各选项的概率。适合需要从图片得到结构化选择的开发者。
Jackrong · 工具包
为长时间的智能体任务缩短推理时间、降低成本,是 Qwen3.8-27B 微调模型的 GGUF 版本。适合在自己机器上跑智能体循环、想让每一轮更快的人。
IteraCompute · 工具包
用 vLLM 在一块 RTX 5090 上以 NVFP4 运行 Qwen3.8-27B,带校验和验证的下载、FP8 KV 缓存、工具调用和推理支持。适合在 Blackwell GPU 上自托管大模型的开发者。
IsValorum · 工具包
一个仅支持英文的编程模型,GGUF 格式,42.6B 参数的混合专家量化版,约 21.8 GB,用于在 llama.cpp 或 LM Studio 里做代码补全、重构和智能体工具调用。
Egzakta · 工具包
能处理图像和文字,推理时用的思考 token 比基座 Qwen3.8-27B 更少,据模型卡称,在相近的准确率下回答时间约减半。另有 FP8 和 GGUF 版本。
dmeight · 工具包
在 Apple silicon 的 LM Studio 里,通过 Splash 运行时以 8-bit 运行 Qwen3.8-27B。这是一个非官方的包,比 4-bit 版本更接近原始模型,但速度更慢。
barozp · 工具包
面向 Apple Silicon 的 4 位 MLX 版本,来自从稠密的 Qwen3.8-27B 切出来的混合专家模型,总参数 27B,激活 17.8B。适合用 mlx-lm 运行本地模型的人。
autotrust · 工具包
在 DGX Spark 上把 Qwen3.8-27B NVFP4 的解码速度提高约 3.9 倍,权重不变,只靠调好的推测解码配置。适合在 Blackwell GPU 上用 vLLM 部署它的团队。