Raon-1 nano (LiteRT-LM)

Raon-1 nano (LiteRT-LM)

把 Raon-1 nano 打包成 4-bit 的 LiteRT-LM 包，上下文 4,096 个 token，用于在设备上运行韩英双语聊天模型。回复不带思考步骤。

由 KRAFTON 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Raon-1 nano 的 LiteRT-LM 包，Raon-1 nano 是 KRAFTON AI 的紧凑语言模型，用于韩语和英语聊天。这个包用 GPTQ 把权重存成 4 bit，激活值用 fp16 运行，上下文为 4,096 个 token。它直接回复，没有思考阶段。

适合谁：它适合用 LiteRT-LM 构建设备端应用、想要一个小型韩英双语模型的开发者。

Title: 谁可能用到它
行业 | 谁在用 | 怎么用 | 例子
移动应用 | 应用开发者 | 在设备应用里放一个小型聊天模型 | 用韩语或英语回答的应用内助手
边缘设备 | 嵌入式工程师 | 在内存紧张的地方试用 4-bit 模型 | 试验设备端的文字回复
AI 研究 | 研究者 | 把 4-bit 包和完整模型作比较 | 检查较短的上下文窗口带来哪些变化

需要长上下文或思考步骤的人可以跳过，因为完整模型支持 262,144 个 token。

用在哪里：

• LiteRT-LM：这个包就是为它准备的库
• Windows、macOS 或 Linux：用 Python 下载文件
• 其他运行时：模型卡列出了 Raon-1 nano 支持的 Transformers、vLLM、llama.cpp 和 MLX，这个包是其中的 LiteRT-LM 版本

Title: 它能做的事
用途 | 适合谁 | 得到什么
设备端聊天 | 应用开发者 | 来自 4-bit 包的简短韩语或英语回复
快速回答 | 产品团队 | 没有思考步骤的直接回答
遵循指令 | 开发者 | 与所给指令相符的文本

如何设置：你需要先准备：

• Windows、macOS 或 Linux 上的 Python
• 一个能加载这个包的 LiteRT-LM 环境

1. 安装 Hugging Face hub 软件包。
2. 下载包文件。
3. 按照模型卡，在 LiteRT-LM 中加载这个包。

pip install -U huggingface_hub
hf download KRAFTON/Raon-1-nano-litert-lm

如何使用：下载这个包，在 LiteRT-LM 中加载，然后用韩语或英语发送提示词。这条命令用来获取文件。

hf download KRAFTON/Raon-1-nano-litert-lm

模型卡按任务列出了 Raon-1 nano 的采样设置。

Title: 推荐的采样设置
任务 | Temperature | Presence penalty
一般聊天、知识问答、遵循指令 | 0.1 | 1.5
智能体工作或代码 | 1.0 | 未设置

想要更长的回复时，值得调高输出 token 上限。

示例：你加载这个包，把 temperature 设为 0.1，presence penalty 设为 1.5，用韩语问一个一般性问题。返回一段直接的文字回复，前面没有思考文字。

新手与专家：如果你刚接触，可以把它看作为手机和其他设备打包的小型聊天模型。LiteRT-LM 环境准备好后，下载它并试一个简短的问题。

如果你熟悉这个领域，基础模型是 24 层的混合结构，其中 18 层是线性注意力，6 层是完整注意力。这个包用 GPTQ 把权重量化到 4 bit，激活值保持 fp16。它 4,096 个 token 的窗口比完整模型的 262,144 个 token 短得多。

下载这个包
在 LiteRT-LM 中加载
发送韩语或英语提示词
查看直接的回复

注意事项：与完整模型相比，上下文窗口是主要的取舍。

Title: 上下文长度，单位 token
这个包: 4096 tokens
完整 Raon-1 nano: 262144 tokens

• License: apache-2.0
• Cost to run: 未提及
• Data it reaches: 只有你给它的提示词，没有提到任何外部服务
• Not for: 超过其 4,096 个 token 上下文的提示词

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：litert-lm
• 最近 30 天下载：26
• 点赞：12
• 许可证：apache-2.0
• 基于：KRAFTON/Raon-1-nano
• 标签：litert-lm, raon, text-generation

链接

• 模型：https://huggingface.co/KRAFTON/Raon-1-nano-litert-lm
• 文件：https://huggingface.co/KRAFTON/Raon-1-nano-litert-lm/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download KRAFTON/Raon-1-nano-litert-lm

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。