Qwen3.8-27B-4bit (MLX)

Qwen3.8-27B-4bit (MLX)

Qwen3.8-27B 的 4 位 MLX 转换版，能读文字和图像并用文字回答，用 mlx-vlm 工具运行。适合想在本地运行视觉语言模型的开发者。

由 mlx-community 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen3.8-27B 的 4 位 MLX 格式副本，既能读文字也能读图像，并用文字回答。它用 mlx-vlm 0.6.8 版本转换而成。模型有 274 亿参数。关于模型本身的详情，模型卡让你去看原版 Qwen3.8-27B 的模型卡。

适合谁：适合想通过 MLX 工具链在自己电脑上运行中大型视觉语言模型的开发者和爱好者。

Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 给本地应用加入图像描述 | 用脚本描述截图
研究 | 模型测试者 | 试用大模型的 4 位转换版 | 与 8 位版本的回复做对比
无障碍 | 工具开发者 | 生成图片的文字描述 | 为一张照片写替代文本

如果你不用 MLX，或者想要原始的全精度模型，可以跳过。

用在哪里：它通过 mlx-vlm 命令行工具和 Python 运行，需要支持 MLX 的电脑，通常是苹果硬件。

• 终端里的 mlx-vlm 工具
• 使用 mlx-vlm 的 Python 脚本
• 用于下载文件的 Windows、macOS 或 Linux

Use case | Who | What they get back
图像描述 | 开发者 | 对你传入的图片的文字描述
视觉问答 | 研究人员 | 关于图像的书面回答
带图像的本地聊天 | 爱好者 | 完全在你电脑上生成的回复

如何设置：你需要 Python 和 mlx-vlm 包。Hugging Face 标注文件约 109 GB，所以先检查空闲磁盘空间。第一次运行命令时，模型会按名称下载。

• Python
• mlx-vlm 包
• 充足的空闲磁盘空间

1. 用 pip 安装 mlx-vlm。
2. 用模型名和图片路径运行 generate 命令。

pip install -U mlx-vlm

如何使用：运行 generate 模块，带上模型名、令牌上限、温度、提示词和图片路径。把温度设为 0.0 会让每次的回复保持一致。

python -m mlx_vlm.generate --model mlx-community/Qwen3.8-27B-4bit --max-tokens 100 --temperature 0.0 --prompt "Describe this image." --image <path_to_image>

Tool | What it does
mlx_vlm.generate | 根据提示词和图片运行模型
--max-tokens | 限制回复的长度
--temperature | 控制回复的随机程度，0.0 表示输出稳定
--image | 给出要描述的图片路径

示例：你用提示词 "Describe this image." 和一张照片的路径运行这条命令。模型会打印一段简短的文字，描述图片的内容，最长 100 个 token。

新手与专家：如果你是新手，安装 mlx-vlm，挑一张照片，运行上面那一条命令。读一读打印出的描述，看看模型注意到了什么。

如果你熟悉这个领域，这是 Qwen3.8-27B 的 MLX 4 位量化转换版。模型卡没有自己的基准数据，所以能力和限制请参考原模型的模型卡。其他人已经分享了 6 个量化版本和 3 个微调版本。

照片和文字提示词
mlx-vlm 加载 4 位模型
模型读取图像和提示词
文字回复打印在终端里

注意事项：这份模型卡很简短，其余内容都依赖原版 Qwen3.8-27B 的模型卡。

• License: Apache 2.0
• Cost to run: 没有提到 API 密钥、账号或付费服务，但文件很大
• Data it reaches: 你在自己机器上给它的图片和提示词，以及从 Hugging Face 下载的文件
• Not for: 不支持 MLX 的环境

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：mlx
• 参数量：27.4B
• Weights: about 109 GB in U32
• Formats: Safetensors
• 最近 30 天下载：110,370
• 点赞：240
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 6
• Fine-tunes: 3
• 标签：safetensors, qwen3_5, image-text-to-text, conversational, 4-bit

链接

• 模型：https://huggingface.co/mlx-community/Qwen3.8-27B-4bit
• 文件：https://huggingface.co/mlx-community/Qwen3.8-27B-4bit/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download mlx-community/Qwen3.8-27B-4bit

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。