Raon-1 nano (GGUF)

Raon-1 nano (GGUF)

把 Raon-1 nano 语言模型打包成适用于 llama.cpp 的 GGUF 文件，让开发者在自己的电脑上运行韩英双语聊天模型。列出了四种量化类型。

由 KRAFTON 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Raon-1 nano 的 GGUF 文件，Raon-1 nano 是 KRAFTON AI 的一个紧凑语言模型，文件用于 llama.cpp。文件有四种量化类型，下面会列出。它们是用 KRAFTON 自己的 llama.cpp 预览分支，从 BF16 权重转换而来的。

适合谁：它适合想在笔记本、台式机或 Apple silicon Mac 上本地运行小型韩英双语模型的开发者，不需要 Python 训练环境。

Title: 谁可能用到它
行业 | 谁在用 | 怎么用 | 例子
软件开发 | 开发者 | 通过 llama.cpp 在本地运行模型 | 用最小的文件在笔记本上测试聊天功能
移动与边缘应用 | 应用团队 | 为韩语和英语的设备端聊天做原型 | 在选定最终格式前先试用模型
AI 爱好者 | 本地模型用户 | 离线和小型双语模型聊天 | 在家用电脑上用韩语提问

想要用于 transformers 的原始权重的人可以跳过，改用 Raon-1 nano 主仓库。

用在哪里：

• llama.cpp：模型卡说这些文件就是为它准备的，支持 Apple silicon、NVIDIA、AMD 和 CPU
• Windows、macOS 或 Linux：用 Python 下载文件
• 其他格式：模型卡还提到 4-bit 的 MLX 模型和 LiteRT-LM 包，它们不在这个仓库里

Title: 它能做的事
用途 | 适合谁 | 得到什么
本地聊天 | 个人用户 | 来自自己机器上的模型的韩语或英语回复
支持工具的助手 | 开发者 | 一个被设计为遵循指令并调用工具的模型
长文档 | 研究者 | 262,144 个 token 的上下文窗口

如何设置：你需要先准备：

• Windows、macOS 或 Linux 上的 Python
• 一个能读取这些文件的 llama.cpp 版本，模型卡指向 KRAFTON 的预览分支
• 4-bit 下约 1.6 GB 的存储空间，这是估计值

1. 安装 Hugging Face hub 软件包。
2. 下载仓库文件。
3. 按照模型卡，在 llama.cpp 中加载一个 GGUF 文件。

pip install -U huggingface_hub
hf download KRAFTON/Raon-1-nano-gguf

这四种文件类型的区别在于权重压缩得有多紧。

Title: 仓库中的文件类型
类型 | 含义
Q4_K_M | 4-bit，四种里最小
Q6_K | 6-bit，介于小文件和大文件之间
Q8_0 | 8-bit，更接近原始质量
F16 | 16-bit 浮点，文件最大

如何使用：下载文件，在 llama.cpp 中加载其中一个，然后用韩语或英语发送提示词。这条命令用来获取文件。

hf download KRAFTON/Raon-1-nano-gguf

模型卡按任务推荐了不同的采样设置。

Title: 推荐的采样设置
任务 | Temperature | Presence penalty
一般聊天、知识问答、遵循指令 | 0.1 | 1.5
智能体工作或代码 | 1.0 | 未设置

对话模板默认开启思考。输出 token 上限同时计算思考和最终回答，所以想要更长的回复就把它调高。

示例：你加载 Q4_K_M 文件，把 temperature 设为 0.1，presence penalty 设为 1.5，用韩语问一个一般性问题。返回一段文字回复，如果回复很短就被截断，说明需要调高 token 上限。

新手与专家：如果你刚接触，先从最小的文件 Q4_K_M 开始，问它一个简单的问题。模型卡还指向一个在线试用场，你可以不做任何设置就体验 Raon。

如果你熟悉这个领域，这个模型是稠密的混合结构，有 18 个带门控 delta 规则的线性注意力层和 6 个门控 MLA 层，每层有一个 256 维嵌入，窗口为 262,144 个 token。更大的量化文件占用更多内存，换来更少的舍入损失。生成配置设置了结束和填充 token 的 ID，但没有设置采样值。

下载一个 GGUF 文件
在 llama.cpp 中加载
设置 temperature 和 presence penalty
发送提示词，查看回复

注意事项：这些文件是用预览分支制作的，所以运行前请先看看模型卡指明的 llama.cpp 版本。

• License: apache-2.0
• Cost to run: 未提及
• Data it reaches: 只有你给它的提示词，没有提到任何外部服务

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：3.1B
• Weights: about 1.6 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：1,893
• 点赞：22
• 许可证：apache-2.0
• 基于：KRAFTON/Raon-1-nano
• 标签：gguf, raon, llama.cpp, text-generation, conversational

链接

• 模型：https://huggingface.co/KRAFTON/Raon-1-nano-gguf
• 文件：https://huggingface.co/KRAFTON/Raon-1-nano-gguf/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download KRAFTON/Raon-1-nano-gguf

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。