JevK5-chat-mlx-4bit

JevK5-chat-mlx-4bit

4.2B 聊天模型 JevK5 的 4-bit MLX 版本，面向 Apple Silicon，上下文 262,144 token，内存占用小。适合想在入门级 Mac 上用本地聊天模型的用户。

由 mlx-community 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 alibiserikbay 的 JevK5 的 4-bit MLX 转换版，JevK5 是一个约 4.2B 参数的聊天模型，架构为 Qwen3_5ForCausalLM。它平均每个权重 4.50 位，支持 262,144 token 的上下文。模型卡给出的活跃内存占用约 2.7 GB，推荐的最低统一内存是 8 GB。

适合谁：如果你有 Apple Silicon Mac，哪怕是 8 GB 的入门款，想要一个能和其他应用一起运行的小型本地聊天模型，它很适合你。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在编辑器和浏览器旁边和本地模型聊天 | 问一个快速的编程问题
教育 | 学生 | 在笔记本上试用本地语言模型 | 请它做一个简单的解释
写作 | 爱好者 | 离线起草短文本 | 写一首短诗
研究 | 机器学习爱好者 | 比较 4-bit、8-bit 和 16-bit 版本 | 阅读各版本对照表

如果你有 36 GB 或更大内存的 Mac，并且想要完整精度，可以跳过它，因为模型卡列出了适合这种情况的 8-bit 和 16-bit 版本。

用在哪里：

• Apple Silicon Mac，通过 mlx-lm 包
• 终端，聊天或一次性生成模式
• Python 脚本，以及配置了自定义停止标记的 LM Studio

用途 | 谁用 | 得到什么
交互式聊天 | Mac 用户 | 终端对话里的回复
一次性生成 | 开发者 | 由单条提示词生成的文本
Python 里的聊天 | 开发者 | 用聊天模板构建出的回复

如何设置：

• 统一内存 8 GB 或以上的 Apple Silicon Mac
• Python，并安装 mlx-lm 包
• 约 2.7 GB 磁盘空间

1. 安装 mlx-lm。
2. 用模型名运行 chat 或 generate 命令。
3. 如果你用 LM Studio 之类的工具，加上模型卡列出的停止标记。

pip install mlx-lm

pip install -U huggingface_hub
hf download mlx-community/JevK5-chat-mlx-4bit

如何使用：你运行 chat 命令进行对话，或者用提示词运行 generate 命令。模型卡的示例写的是转换者自己的仓库名 SirSahOl，所以请使用你下载的仓库名。在 Python 里，你用聊天模板构建提示词。

# Chat interactively
mlx_lm.chat --model SirSahOl/JevK5-chat-mlx-4bit

# Generate text
mlx_lm.generate --model SirSahOl/JevK5-chat-mlx-4bit --prompt "Write a short poem about artificial intelligence."

from mlx_lm import load, generate

model, tokenizer = load("SirSahOl/JevK5-chat-mlx-4bit")

messages = [
    {"role": "user", "content": "Explain quantum superposition in simple terms."}
]
prompt = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)

response = generate(model, tokenizer, prompt=prompt, verbose=True)
print(response)

工具 | 作用
mlx_lm.chat | 在终端里开始交互式聊天
mlx_lm.generate | 根据单条提示词生成文本
apply_chat_template | 根据一列消息构建提示词

示例：你运行 generate 命令，提示词要求写一首关于人工智能的短诗。模型会打印这首诗。在 Python 里，你可以让它用简单的话解释量子叠加，并打印回复。

新手与专家：这是一个小型聊天模型，几乎任何近年的 Mac 都能运行。第一次尝试时，可以用交互式聊天命令。

如果你熟悉这个领域，模型卡为本地运行环境列出了停止标记：im_start、im_end 和 endoftext，带管道符号的写法，用来防止失控的循环。它还给出了系统、用户和助手轮次的 ChatML 风格前缀和后缀。模型卡的 M1 测试显示 4-bit 下每秒 17.97 个 token。

安装 mlx-lm
加载 4-bit 模型
用聊天模板构建提示词
生成并打印回复

Title: 各版本的磁盘大小，单位 GB
4-bit MLX: 2.7 GB
8-bit MLX: 4.9 GB
16-bit MLX: 9.2 GB

注意事项：

• 速度：在 8 GB 的 Apple M1 上，模型卡测得 4-bit 每秒 17.97 个 token，8-bit 为 10.35。
• 版本：模型卡还列出了适合更大内存 Mac 的 8-bit 和 16-bit 版本。
• 停止标记：在你的运行环境里加上 im_start、im_end 和 endoftext，让对话轮次保持有序。
• License: Apache 2.0。
• Cost to run: 未提及。
• Data it reaches: 它会从 Hugging Face 下载模型文件，并处理你提供的文本。
• Not for: 没有 Apple Silicon 的 Mac，因为这是 MLX 格式的副本。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：mlx
• 参数量：4.2B
• Weights: about 16.8 GB in U32
• Formats: Safetensors
• 最近 30 天下载：381
• 点赞：2
• 许可证：apache-2.0
• 基于：alibiserikbay/JevK5
• 标签：safetensors, qwen3_5_text, text-generation, apple-silicon, 4-bit, conversational, transformers, decision-model, system-one, jev-alternative, typed-decisions, self-hosted

链接

• 模型：https://huggingface.co/mlx-community/JevK5-chat-mlx-4bit
• 文件：https://huggingface.co/mlx-community/JevK5-chat-mlx-4bit/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download mlx-community/JevK5-chat-mlx-4bit

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。