Raon-1 mini (GGUF)

Raon-1 mini (GGUF)

在 llama.cpp 中运行一个 28.8B 的混合专家模型，针对韩语对话、推理和调用工具的智能体做过优化。这是 Raon-1 mini preview 的 GGUF 版本，适合在自己电脑上运行模型的人。

由 KRAFTON 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Raon-1 mini preview 的 GGUF 文件，这是 KRAFTON AI 从零训练的语言模型，你可以在 llama.cpp 中运行它。这些文件由 BF16 权重转换而来。Q6_K 及更小的尺寸使用重要性矩阵做了量化。

适合谁：在本地运行语言模型，并想要韩语能力强、支持调用工具的模型的人。作者称它是预览版，所以在最终版本发布前，规格和结果可能会变。

Industry | Who uses it | How they use it | Example
软件 | 运行本地智能体的开发者 | 把模型和模型卡列出的某个智能体工具搭配，比如 OpenCode | 一个不依赖云服务的编程助手
韩语服务 | 使用韩语工作的团队 | 用韩语聊天和问答 | 一个回答内部问题的韩语助手
研究 | 模型研究人员 | 试用每个词元只动用少量参数的混合专家模型 | 与规模相近的稠密模型做比较
兴趣爱好 | 爱好者 | 在自己的电脑上和大模型聊天 | 用韩语或英语进行离线聊天

如果你需要最终的稳定版本，或者腾不出几十 GB 的磁盘和内存，可以跳过它。

用在哪里：

• Windows、macOS 或 Linux 上的 llama.cpp
• 模型卡提到的智能体工具，Hermes Agent、Pi 和 OpenCode
• 你自己的电脑，运行这些文件不需要托管服务

Use case | Who | What they get back
韩语对话 | 使用韩语的团队 | 韩语回复，同时也支持英语
逐步推理 | 开发者 | 模型先思考再回复的答案
智能体工作流 | 开发者 | 智能体工具可以执行的工具调用

如何设置：

• Python，用来安装 Hugging Face 客户端
• llama.cpp，用来加载 GGUF 文件
• 磁盘空间，按 Hugging Face 的估算，4 位时约 14.4 GB

1. 安装 Hugging Face 客户端。
2. 把仓库文件下载到你的电脑。
3. 让 llama.cpp 指向量化大小适合你内存的那个 GGUF 文件。

pip install -U huggingface_hub
hf download KRAFTON/Raon-1-mini-preview-gguf

如何使用：在 llama.cpp 中打开一个 GGUF 文件，用韩语或英语和它聊天。模型会先思考再回答，也能为智能体工作流调用工具。来源没有给出 llama.cpp 的命令，所以请按 llama.cpp 自己的指南来加载文件。

Tool | What it does
llama.cpp | 加载 GGUF 文件并在本地运行模型
hf download | 从 Hugging Face 获取仓库文件
Q6_K and smaller | 用重要性矩阵做出的量化尺寸

示例：你用韩语向模型提问，它会先把问题想一遍再给出答案。你也可以把它接到 OpenCode 这样的智能体工具上，让它替你调用工具。

新手与专家：如果你刚接触本地模型，先下载文件，从你内存放得下的最小量化尺寸开始。文件越小，能跑的机器越多，但质量会有一些损失。

如果你熟悉这个领域：模型有 25 层，其中 18 层是状态大小固定的 Raon Delta Attention，7 层是保留 KV 缓存的门控 MLA。它把每个词元路由到 128 个专家中的 6 个，外加 1 个共享专家，所以 28.8B 参数里有 4.3B 处于活跃状态。上下文最长可达 262,144 个词元。

Hugging Face 仓库
GGUF 文件
llama.cpp
本地聊天或智能体

注意事项：每个词元只有一小部分参数在工作，所以这么大的模型也有可能跑得动。

Title: 参数量，单位为十亿
Total: 28.8 B
Active per token: 4.3 B

• Preview: 这是早期版本，最终模型发布后细节可能会有变化
• Context: 最长 262,144 个词元
• License: Apache 2.0
• Cost to run: 未提及，不过模型卡提到一个免费但限时的托管试玩页面
• Data it reaches: 你下载到电脑上的文件，未提及其他
• Not for: 最终的稳定版本，因为这是预览版

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：28.8B
• Weights: about 14.4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：44,362
• 点赞：77
• 许可证：apache-2.0
• 基于：KRAFTON/Raon-1-mini-preview
• 标签：gguf, raon, llama.cpp, text-generation, imatrix, conversational

链接

• 模型：https://huggingface.co/KRAFTON/Raon-1-mini-preview-gguf
• 文件：https://huggingface.co/KRAFTON/Raon-1-mini-preview-gguf/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download KRAFTON/Raon-1-mini-preview-gguf

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。