Qwen3.8-27B-AWQ-INT4

Qwen3.8-27B-AWQ-INT4

cyankiwi 制作的 Qwen3.8-27B 4-bit AWQ 量化版本，一个带思考控制的 27B 视觉语言模型。权重为 21.02 GB，可在 Transformers、vLLM 或 SGLang 中加载。

由 cyankiwi 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 cyankiwi 制作的 Qwen3.8-27B 的 4-bit AWQ 量化版本。基础模型是一个稠密的 27B 视觉语言模型，能读文字、图像和视频，并有可切换的思考模式。量化后的权重是 21.02 GB，使用 Hugging Face Transformers 格式。它们是用 cyankiwi 自己的校准数据集校准的。

适合谁：如果你是开发者，为编程、研究或智能体工作部署开源模型，想要一个更小的 27B 模型副本，同时还能读图像和视频，它很适合你。

Industry | Who uses it | How they use it | Example
软件开发 | 构建编程助手的开发者 | 用更小的文件运行 27B 模型，做编程和智能体任务 | 基础模型面向编程和多步骤的智能体任务
研究与分析 | 分析师 | 针对图像和视频提问 | 视觉语言模型会把图片和问题一起读
平台工程 | 部署开源模型的团队 | 通过 vLLM 或 SGLang 提供权重服务 | 文件采用 Transformers 格式

如果你需要未量化的权重，可以跳过它，因为量化会改变权重，输出可能与原版不同。

用在哪里：

• Hugging Face Transformers
• vLLM、SGLang 和 TokenSpeed，模型卡写明它们兼容
• Windows、macOS 或 Linux，装有 Python，用来下载文件
• cyankiwi 的私有端点，通过模型卡上的部署按钮使用

Use case | Who | What they get back
编程和智能体工作 | 开发者 | 一个能放进较小内存预算的 27B 模型
图像和视频提问 | 分析师 | 会把视觉输入考虑进去的回答
自托管服务 | 平台团队 | 在他们已经在用的运行时上搭建的端点

如何设置：你需要 Python、一个受支持的运行时，以及放得下 21.02 GB 权重的空间。

• 装有 huggingface_hub 包的 Python
• 一个运行时，比如 Transformers、vLLM、SGLang 或 TokenSpeed
• 足够容纳约 21.02 GB 权重的内存，另加工作空间

1. 用 Python 安装 Hugging Face 工具。
2. 用下面的第二条命令下载模型文件。
3. 在你选的运行时里加载这个文件夹。
4. 发送文字、图像或视频，读取回答。

pip install -U huggingface_hub
hf download cyankiwi/Qwen3.8-27B-AWQ-INT4

如何使用：这里能看到的模型卡部分没有运行命令，所以请按你所用运行时自己的说明操作。思考模式默认开启。你可以针对单次请求关闭它、调整它的深度，或保留之前消息里的推理内容。

Tool | What it does
reasoning_effort | 调整推理的深度
preserve_thinking | 保留之前消息里的推理上下文
Thinking | 除非针对某一次调用关闭，否则会先推理再回答

示例：你用 vLLM 部署这个模型，发送一张图片和一个关于它的问题。思考模式默认开启，所以模型会先推理，你也可以针对单次请求把它关掉。

新手与专家：把它想成一个被压缩过、能放进较小机器的大助手，而且能看图片和视频。第一个小尝试是在你熟悉的运行时里部署它，问一个简短的问题。

AWQ 指激活感知的权重量化，它用校准数据来决定如何处理权重。这个版本把它们存成 4 比特。代价是用更少的内存换来与原版权重的一些差异，而模型卡没有给出准确率对比。

下载量化后的权重
在受支持的运行时里加载
发送文字、图像或视频
除非关闭，否则会进行思考
读取回答

注意事项：模型卡列出了这个版本的下列属性。

Title: 这个版本一览
Property | Value
Base model | Qwen3.8-27B
Quantization | AWQ INT4
Model size | 21.02 GB
Input | 文字、图像和视频

• Parameters: Hugging Face 记录里是 27.8B
• Other versions: 其他人已经发布了 2 个量化版本
• Accuracy: 模型卡没有给出与原版权重的对比
• License: Apache 2.0
• Cost to run: 没有提到，模型卡提到的托管选项目前还不可用
• Data it reaches: 你下载的文件，以及你发送的文字、图像和视频
• Not for: 与未量化模型完全一致的结果

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：27.8B
• Weights: about 111 GB in I32
• Formats: Safetensors
• 最近 30 天下载：1,056,172
• 点赞：135
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 2
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, conversational, compressed-tensors

链接

• 模型：https://huggingface.co/cyankiwi/Qwen3.8-27B-AWQ-INT4
• 文件：https://huggingface.co/cyankiwi/Qwen3.8-27B-AWQ-INT4/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download cyankiwi/Qwen3.8-27B-AWQ-INT4

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。