Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
写故事,并在多轮对话中扮演角色。这是一个面向创意写作和角色扮演的 8B Llama 3.1 微调模型,适合在自己机器上运行模型的爱好者。
Llama-3.1-8B-Stheno-v3.4 是一款工具包,属于写作类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download Sao10K/Llama-3.1-8B-Stheno-v3.4
Llama-3.1-8B-Stheno-v3.4 是 Sao10K 做的 80 亿参数模型,专为创意写作和角色扮演调过。它经过两轮微调,先用多轮对话和指令数据,再用创意写作和角色扮演数据。作者说它的感觉和早期的 Stheno 版本不同。
适合在本地运行语言模型、想要一个专为故事和角色对话打造的模型的写作者和爱好者。记录里只列了英文。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 创意写作 | 小说作者 | 用针对创意文本调过的模型起草场景和对白 | 从开头一段续写一个短篇故事 |
| 游戏与爱好 | 角色扮演爱好者 | 在多个回合里进行长时间的角色对话 | 在连续的故事里扮演一艘船的领航员 |
| AI 爱好 | 本地模型折腾者 | 用自己的采样设置试用 8B 模型 | 把建议的温度和更低的温度做对比 |
需要商用或需要其他语言输出的人可以跳过它,因为许可证是非商业的,列出的语言是英文。
| 使用场景 | 适合谁 | 你会得到什么 |
|---|---|---|
| 写故事 | 作者 | 创意风格的叙述和场景 |
| 角色扮演 | 角色扮演爱好者 | 在多个回合里仍能保持角色的回复 |
| 一般助手问题 | 爱好者 | 指令式的回答,模型卡说这是调教的一部分 |
你需要先准备几样东西。
pip install -U huggingface_hub hf download Sao10K/Llama-3.1-8B-Stheno-v3.4
模型卡给的是提示建议,不是命令。使用 Llama 3 Instruct 格式,作者说 Euryale 2.1 预设效果不错。温度和 min_p 要自己设置。
你让它继续一个场景,扮演一艘船的领航员并保持角色,使用 Llama 3 Instruct 格式,温度 1.4,min_p 0.2。你可以期待一段保持角色的回复,把对话往前推进,这正是角色扮演调教想要的效果。
如果你是新手,可以把它想成一个爱聊天、被训练来讲故事和演角色的模型。下载它,在支持 Llama 3 Instruct 格式的前端里加载,先用建议的温度和 min_p。
往底层看,调教数据混合了人工撰写的内容和 Claude 的输出,单轮样本也用 Opus 3 和 Sonnet 3.5 给出的新提示词和回复重做了。与早期 Stheno 数据集相比,角色扮演多了 55%,创意写作多了 40%。基础模型是 Llama 3.1,作者觉得它比 Nemo 基础模型更难调。
写故事,并在多轮对话中扮演角色。这是一个面向创意写作和角色扮演的 8B Llama 3.1 微调模型,适合在自己机器上运行模型的爱好者。
由 Sao10K 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Llama-3.1-8B-Stheno-v3.4 是 Sao10K 做的 80 亿参数模型,专为创意写作和角色扮演调过。它经过两轮微调,先用多轮对话和指令数据,再用创意写作和角色扮演数据。作者说它的感觉和早期的 Stheno 版本不同。
适合谁:适合在本地运行语言模型、想要一个专为故事和角色对话打造的模型的写作者和爱好者。记录里只列了英文。
行业 | 谁在用 | 怎么用 | 例子
创意写作 | 小说作者 | 用针对创意文本调过的模型起草场景和对白 | 从开头一段续写一个短篇故事
游戏与爱好 | 角色扮演爱好者 | 在多个回合里进行长时间的角色对话 | 在连续的故事里扮演一艘船的领航员
AI 爱好 | 本地模型折腾者 | 用自己的采样设置试用 8B 模型 | 把建议的温度和更低的温度做对比
需要商用或需要其他语言输出的人可以跳过它,因为许可证是非商业的,列出的语言是英文。
用在哪里:
使用场景 | 适合谁 | 你会得到什么
写故事 | 作者 | 创意风格的叙述和场景
角色扮演 | 角色扮演爱好者 | 在多个回合里仍能保持角色的回复
一般助手问题 | 爱好者 | 指令式的回答,模型卡说这是调教的一部分
如何设置:你需要先准备几样东西。
pip install -U huggingface_hub
hf download Sao10K/Llama-3.1-8B-Stheno-v3.4
如何使用:模型卡给的是提示建议,不是命令。使用 Llama 3 Instruct 格式,作者说 Euryale 2.1 预设效果不错。温度和 min_p 要自己设置。
示例:你让它继续一个场景,扮演一艘船的领航员并保持角色,使用 Llama 3 Instruct 格式,温度 1.4,min_p 0.2。你可以期待一段保持角色的回复,把对话往前推进,这正是角色扮演调教想要的效果。
新手与专家:如果你是新手,可以把它想成一个爱聊天、被训练来讲故事和演角色的模型。下载它,在支持 Llama 3 Instruct 格式的前端里加载,先用建议的温度和 min_p。
往底层看,调教数据混合了人工撰写的内容和 Claude 的输出,单轮样本也用 Opus 3 和 Sonnet 3.5 给出的新提示词和回复重做了。与早期 Stheno 数据集相比,角色扮演多了 55%,创意写作多了 40%。基础模型是 Llama 3.1,作者觉得它比 Nemo 基础模型更难调。
Llama 3.1 8B 基础模型
第一阶段:多轮对话调教
第二阶段:创意写作和角色扮演调教
用 Llama 3 Instruct 格式写提示词
模型写出回复
注意事项:
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download Sao10K/Llama-3.1-8B-Stheno-v3.4
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Llama-3.1-8B-Stheno-v3.4 本页 | 1,143 | 105 | 8B | cc-by-nc-4.0 | |
| AMALIA-9B-0626-DPO共有 llama · safetensors | 1,340 | 21 | 9.2B | apache-2.0 | |
| ibnsina-1.5b共有 llama | 803 | 3 | 1.5B | apache-2.0 | |
| humanizer共有 safetensors | 391,936 | 2,260 | 12B | apache-2.0 | |
| Hy-MT2-1.8B共有 safetensors | 22,844 | 1,285 | 2B | apache-2.0 | |
| SMaLL-100共有 safetensors | 10,902 | 113 | 333M | mit |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
vennify · 工具包
用在 JFLEG 数据集上训练的 T5 模型改写英文文本,减少语法错误。由 vennify 制作,适合想在 Python 里加入语法修正步骤的写作者、学生和开发者。
tencent · 工具包
在你自己的设备上用压缩到 1.25 比特的 1.8B 模型进行 33 种语言之间的翻译,GGUF 文件约 440 MB,适用于 llama.cpp。适合给应用加入离线翻译的开发者。
summerAIO · 工具包
用经过微调、采用 Gated DeltaNet 层的 27B 模型,对整本书长度的文字做摘要、问答和续写,支持英语和日语。适合处理长文档的人。