Jackrong_Qwopus3.8-27B-Coder-Flash-GGUF

Jackrong_Qwopus3.8-27B-Coder-Flash-GGUF

bartowski 用重要性矩阵为 Jackrong 的 Qwopus3.8-27B-Coder-Flash 制作的 GGUF 量化版本，大小从 17 GB 到 55 GB。适合在本地用 llama.cpp 运行 27B 模型。

由 bartowski 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 Qwopus3.8-27B-Coder-Flash 的 GGUF 量化版本，这是 Jackrong 的一个 27B 模型。文件由 bartowski 用 llama.cpp 和重要性矩阵制作。多种大小让你在文件体积和质量之间取舍。模型名称暗示它偏向编程，但页面没有这么说。

适合谁：适合在自己电脑上用 llama.cpp 或基于它的工具运行大语言模型的人。页面列出的语言是英文和中文，加上单独的 mmproj 文件后可以输入图像。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在本地运行 27B 模型，而不是调用云服务 | 加载一个中等大小的量化版本，让它审查一个函数
本地 AI | 爱好者 | 选一个适合自己内存的量化版本 | 不确定时选模型卡建议的那个文件
研究 | 模型评测人员 | 比较量化大小与质量 | 在同样的提示词上，用大的量化版本对比小的
多模态工作 | 工具构建者 | 通过 mmproj 文件使用文字和图像输入 | 加上投影文件，发送一张截图

如果你想要托管的聊天服务，或者内存很少，可以跳过它。即使是列出的最小文件也有大约 17 GB。

用在哪里：

• llama.cpp 以及基于它的工具，适用于 Windows、macOS 和 Linux
• 带 Hugging Face 工具的 Python，用来下载文件
• 使用推测解码的环境，模型卡列出它通过 MTP 受支持

Use case | Who | What they get back
本地聊天 | 爱好者 | 来自你机器上 27B 模型的文字回复
图像提问 | 开发者 | 加上 mmproj 文件后，针对图像的文字回答
更快的生成 | 高级用户 | 通过 MTP 做推测解码

如何设置：选一个文件，而不是整个仓库，因为全部加起来非常大。请对照下面的大小列检查你的内存。

• 用于下载的 Python 和 Hugging Face 工具
• 一个基于 llama.cpp 的程序来加载文件
• 所选量化版本需要的内存，模型卡默认推荐的大约 17 GB

1. 安装 Hugging Face hub 工具。
2. 从文件列表里选一个量化版本。
3. 下载那个文件。下面的命令会取整个仓库，所以要把它缩小到一个文件。
4. 在 llama.cpp 或类似工具里加载这个文件。

pip install -U huggingface_hub
hf download bartowski/Jackrong_Qwopus3.8-27B-Coder-Flash-GGUF

如何使用：模型卡有自己的运行说明部分，在这里看到的内容里被截断了。它确实给出了提示词格式。系统消息把推理强度设为最高档，助手回合以 think 标签开头。

<|im_start|>system
Reasoning effort is set to xhigh. Please think carefully through the task, validate key assumptions, consider plausible alternatives, and prioritize correctness, consistency, and clarity in the final answer.

{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
<think>

量化类型 | 大小和用途
bf16 | 54.66 GB，全精度权重，分成多个部分
Q8_0 | 29.12 GB，最大的量化版本，模型卡称其质量极高
Q6_K_L | 24.96 GB，更大的 Q6_K，大小约在 Q6_K 和 Q8_0 之间
Q6_K | 23.86 GB，近乎完美的质量，推荐之选
Q6_K_S | 22.86 GB，比 Q6_K 略小，同样推荐
Q5_K_M | 20.92 GB，高质量，推荐
Q4_K_M | 17.44 GB，模型卡在你拿不准时的建议

示例：你下载 Q4_K_M 文件，在基于 llama.cpp 的工具里用上面的提示词格式加载它，让它写一个反转字符串的简短函数。模型会先思考，然后回复代码和说明。

新手与专家：量化版本是模型的较小副本，数字用更少的比特存储。如果拿不准，就从 Q4_K_M 开始，模型卡建议它在大小和速度之间比较均衡。内存有富余时可以升到 Q6_K。

这些量化版本使用了重要性矩阵，模型卡还提到支持用 MTP 做推测解码，以及用 mmproj 文件输入图像。源检查点列为约 28B 参数。文件是 bartowski 根据 Jackrong 的原模型制作的。

选一个适合你内存的量化版本
只下载那一个文件
在 llama.cpp 或类似工具里加载
按所示格式发送提示词

Title: 文件大小，单位 GB
bf16: 54.66 GB
Q8_0: 29.12 GB
Q6_K: 23.86 GB
Q5_K_M: 20.92 GB
Q4_K_M: 17.44 GB

注意事项：

• 看到的文件列表被截断了，所以还有比上面更多的量化版本。
• 页面自己的记录把 4-bit 权重估计为约 13.7 GB。
• 图像输入需要单独的 mmproj 文件。
• License: apache-2.0。
• Cost to run: 未提及，你使用自己的硬件。
• Data it reaches: 从 Hugging Face 下载的文件，以及你给它的文字或图像。
• Not for: 模型卡没有列出限制。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：27.3B
• Weights: about 13.7 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：3,306
• 点赞：5
• 许可证：apache-2.0
• 语言：en, zh
• 基于：Jackrong/Qwopus3.8-27B-Coder-Flash
• 标签：transformers, gguf, image-text-to-text, vision, multimodal, conversational, qwen3_5, qwopus3_8, vllm, fine-tuned, coding, code-generation

链接

• 模型：https://huggingface.co/bartowski/Jackrong_Qwopus3.8-27B-Coder-Flash-GGUF
• 文件：https://huggingface.co/bartowski/Jackrong_Qwopus3.8-27B-Coder-Flash-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download bartowski/Jackrong_Qwopus3.8-27B-Coder-Flash-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。