Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
从 Gemma 4 31B-IT 后训练而来的角色扮演聊天模型,用用户的语言回复,无论是俄语、西班牙语、英语还是葡萄牙语,并一直保持这种语言。可处理图像和文字。
Crystal-31B-RL 是一款工具包,属于陪伴类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download hiwaifu-research/Crystal-31B-RL
Crystal-31B-RL 是一个由 Gemma 4 31B-IT 制成的稠密 31B 角色扮演模型。它经过三个阶段的后训练:在精选的多轮角色扮演上做风格训练、针对每个提示词各自的评分细则做强化学习,以及逐层合并回基座模型。合并之后,强化学习后混进俄语、西班牙语和葡萄牙语回复里的英文单词大多被去掉了。
它适合用俄语、西班牙语、英语或葡萄牙语进行角色扮演或互动小说、并希望模型始终只用一种语言的人。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 互动小说 | 作者和游戏主持人 | 用用户的语言和角色一起演绎场景 | 开始一场西班牙语角色扮演,整场对话都保持西班牙语 |
| 角色聊天应用 | 陪伴类产品的开发者 | 把模型放在聊天前端后面提供服务 | 把角色设定和用户的每一轮作为聊天消息发送 |
| 训练研究 | 研究强化学习的人 | 阅读针对每个提示词的评分细则如何塑造模型 | 把模型卡里的胜率和基座模型对比 |
如果你需要其他语言、思考模式,或者远超 24K token 的提示词,可以略过它。
| 用途 | 谁用 | 能得到什么 |
|---|---|---|
| 角色扮演聊天 | 玩家和作者 | 用你写作的语言给出的入戏回复 |
| 游戏主持人场景 | 跑团的主持人 | 能接续前面回合的场景叙述 |
| 语言一致性检查 | 研究者 | 俄语、西班牙语和葡萄牙语回复中很少出现游离的英文单词 |
你需要先准备:
pip install -U huggingface_hub hf download hiwaifu-research/Crystal-31B-RL
像用 Gemma 一样和它聊天,用你想要它回复的语言来写。模型卡说它是在非思考模式下训练和部署的。它还在权重旁边的 prompts 文件夹里附带了评委提示词。
你用葡萄牙语开始一场有角色和场景的角色扮演。模型用葡萄牙语回答并保持入戏,模型卡测得西班牙语和葡萄牙语回复中出现游离英文单词的只有 0.6%。
第一次尝试可以用你自己的语言,写一个角色简单的短角色扮演。看看回复是否一直保持这种语言并且入戏。
对懂行的人来说,第一阶段在约 4.9K 条精选对话上训练了一个 LoRA,并加了一个损失项,惩罚不属于回复语言的文字脚本上的概率。第二阶段用 GRPO,为每个提示词写一份带权重的通过或不通过评分细则,奖励就是一次生成通过的细则所占比例。最后与基座做线性合并,在保留风格的同时减少英文混入。
从 Gemma 4 31B-IT 后训练而来的角色扮演聊天模型,用用户的语言回复,无论是俄语、西班牙语、英语还是葡萄牙语,并一直保持这种语言。可处理图像和文字。
由 hiwaifu-research 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Crystal-31B-RL 是一个由 Gemma 4 31B-IT 制成的稠密 31B 角色扮演模型。它经过三个阶段的后训练:在精选的多轮角色扮演上做风格训练、针对每个提示词各自的评分细则做强化学习,以及逐层合并回基座模型。合并之后,强化学习后混进俄语、西班牙语和葡萄牙语回复里的英文单词大多被去掉了。
适合谁:它适合用俄语、西班牙语、英语或葡萄牙语进行角色扮演或互动小说、并希望模型始终只用一种语言的人。
行业 | 谁在用 | 怎么用 | 例子
互动小说 | 作者和游戏主持人 | 用用户的语言和角色一起演绎场景 | 开始一场西班牙语角色扮演,整场对话都保持西班牙语
角色聊天应用 | 陪伴类产品的开发者 | 把模型放在聊天前端后面提供服务 | 把角色设定和用户的每一轮作为聊天消息发送
训练研究 | 研究强化学习的人 | 阅读针对每个提示词的评分细则如何塑造模型 | 把模型卡里的胜率和基座模型对比
如果你需要其他语言、思考模式,或者远超 24K token 的提示词,可以略过它。
用在哪里:
用途 | 谁用 | 能得到什么
角色扮演聊天 | 玩家和作者 | 用你写作的语言给出的入戏回复
游戏主持人场景 | 跑团的主持人 | 能接续前面回合的场景叙述
语言一致性检查 | 研究者 | 俄语、西班牙语和葡萄牙语回复中很少出现游离的英文单词
如何设置:
你需要先准备:
pip install -U huggingface_hub
hf download hiwaifu-research/Crystal-31B-RL
如何使用:
像用 Gemma 一样和它聊天,用你想要它回复的语言来写。模型卡说它是在非思考模式下训练和部署的。它还在权重旁边的 prompts 文件夹里附带了评委提示词。
示例:你用葡萄牙语开始一场有角色和场景的角色扮演。模型用葡萄牙语回答并保持入戏,模型卡测得西班牙语和葡萄牙语回复中出现游离英文单词的只有 0.6%。
新手与专家:第一次尝试可以用你自己的语言,写一个角色简单的短角色扮演。看看回复是否一直保持这种语言并且入戏。
对懂行的人来说,第一阶段在约 4.9K 条精选对话上训练了一个 LoRA,并加了一个损失项,惩罚不属于回复语言的文字脚本上的概率。第二阶段用 GRPO,为每个提示词写一份带权重的通过或不通过评分细则,奖励就是一次生成通过的细则所占比例。最后与基座做线性合并,在保留风格的同时减少英文混入。
从 Gemma 4 31B-IT 出发
用 LoRA 在精选角色扮演上训练风格
针对每个提示词的评分细则做同策略强化学习
逐层合并回基座模型
得到始终保持用户语言的回复
注意事项:
Title: 模型卡中各项对比的胜率
竞技场,15 个模型: 51.9%
竞技场,对比 Gemma 4 31B-IT: 54.8%
离线,对比它的 SFT 检查点: 72.0%
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download hiwaifu-research/Crystal-31B-RL
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Crystal-31B-RL 本页 | 295 | 9 | 31.3B | apache-2.0 | |
| mai_replier-9b-v3共有 image-text-to-text · transformers · roleplay | 660 | 8 | 9.4B | apache-2.0 | |
| Tallow共有 roleplay · safetensors | 681 | 8 | 15.7M | apache-2.0 |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
schizophyllume · 工具包
提供一组会发出蜜蜂嗡嗡声的小型 GGUF 语言模型,有只会嗡嗡的小蜜蜂、带情绪标签的蜜蜂,以及蜂后与工蜂相连的蜂巢。适合喜欢超小模型的爱好者和开发者。
nohurry · 工具包
分享 SillyTavern 的角色扮演预设,主要是 Voyage 系列,另有一个通用的 Eval 预设。适合用本地或云端语言模型玩故事聊天的人。
kingabzpro · 工具包
在 Gradio 页面里用 DialoGPT 模型,以《Rick and Morty》中 Rick 的口吻和你聊天。适合粉丝,也适合想看小型聊天机器人示例的开发者。