Raon-1 nano (MLX)

Raon-1 nano (MLX)

提供适用于 Apple silicon 的 4-bit MLX 版 Raon-1 nano 权重，让开发者在 Mac 上本地运行韩英双语聊天模型。适合应用开发者和本地模型用户。

由 KRAFTON 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Raon-1 nano 的 MLX 权重，Raon-1 nano 是 KRAFTON AI 的紧凑语言模型，专为 Apple silicon 制作。权重使用 4-bit GPTQ 量化，分组大小为 64。模型卡还指向一个 MLX 部分，里面有 BF16 导出版本。

适合谁：它适合想在搭载 Apple silicon 的 Mac 上运行小型韩英双语聊天模型的开发者和爱好者。

Title: 谁可能用到它
行业 | 谁在用 | 怎么用 | 例子
软件开发 | Mac 开发者 | 用 MLX 在本地运行模型 | 在 Apple silicon 笔记本上测试聊天功能
韩语产品 | 产品团队 | 在 Mac 上为韩语对话功能做原型 | 在选定部署格式前先试用提示词
AI 爱好者 | 本地模型用户 | 离线和小型双语模型聊天 | 在个人 Mac 上用韩语或英语提问

用 Windows 或 Linux、没有 Apple silicon 硬件的人可以跳过，改用 Raon-1 nano 主仓库或 GGUF 文件。

用在哪里：

• Apple silicon 上的 MLX：权重就是为它准备的
• Windows、macOS 或 Linux：你可以用 Python 下载文件，不过权重面向 Apple silicon
• 其他运行时：模型卡列出了 Raon-1 nano 支持的 Transformers、vLLM、llama.cpp 和 LiteRT-LM，各有自己的文件

Title: 它能做的事
用途 | 适合谁 | 得到什么
本地聊天 | 个人用户 | 来自自己 Mac 上的模型的韩语或英语回复
遵循指令 | 开发者 | 与所给指令相符的文本
调用工具 | 应用开发者 | 在对话中选出要用的工具

如何设置：你需要先准备：

• Windows、macOS 或 Linux 上的 Python，用来下载文件
• 一台搭载 Apple silicon 并安装了 MLX 的 Mac，用来运行权重

1. 安装 Hugging Face hub 软件包。
2. 下载仓库文件。
3. 按照模型卡，用 MLX 加载权重。

pip install -U huggingface_hub
hf download KRAFTON/Raon-1-nano-mlx

如何使用：下载权重，用 MLX 加载，然后用韩语或英语发送提示词。这条命令用来获取文件。

hf download KRAFTON/Raon-1-nano-mlx

模型卡按任务列出了 Raon-1 nano 的采样设置。

Title: 推荐的采样设置
任务 | Temperature | Presence penalty
一般聊天、知识问答、遵循指令 | 0.1 | 1.5
智能体工作或代码 | 1.0 | 未设置

对话模板默认开启思考。输出 token 上限同时计算思考和最终回答，所以想要更长的回复就把它调高。

示例：你在 Mac 上加载 4-bit 权重，把 temperature 设为 0.1，presence penalty 设为 1.5，用韩语问一个一般性问题。返回一段文字回复，如果回复很短就被截断，说明需要调高 token 上限。

新手与专家：如果你刚接触，可以把它看作为 Apple 笔记本打包的小型聊天模型。装好 MLX 后下载它，试一个简短的问题。

如果你熟悉这个领域，基础模型是线性注意力层和完整注意力层的混合结构，带有逐层嵌入，窗口为 262,144 个 token。这个仓库提供的是 MLX 形式的 4-bit GPTQ 导出版本。生成配置设置了结束和填充 token 的 ID，但没有设置采样值。

下载 MLX 权重
在 Apple silicon 上用 MLX 加载
设置 temperature 和 presence penalty
发送提示词，查看回复

注意事项：这些权重是 4-bit 的，模型卡指向它的 MLX 部分来获取 BF16 导出版本。

• License: apache-2.0
• Cost to run: 未提及
• Data it reaches: 只有你给它的提示词，没有提到任何外部服务
• Not for: 没有 Apple silicon 的硬件，因为权重就是为它制作的

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：mlx
• 参数量：3.1B
• Weights: about 12.5 GB in U32
• Formats: Safetensors
• 最近 30 天下载：94
• 点赞：16
• 许可证：apache-2.0
• 基于：KRAFTON/Raon-1-nano
• 标签：safetensors, raon1_nano, raon, text-generation, conversational

链接

• 模型：https://huggingface.co/KRAFTON/Raon-1-nano-mlx
• 文件：https://huggingface.co/KRAFTON/Raon-1-nano-mlx/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download KRAFTON/Raon-1-nano-mlx

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。