Qwen3.8 13.5B

Qwen3.8 13.5B

一个把 Qwen3.8-27B 剪掉一半层数再重新训练的实验，得到一个 14.7B 的日英模型，作者称它目前还不实用。

由 kusuriya-labs 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3.8 13.5B 是 kusuriya-labs 对 Qwen3.8-27B 做的剪枝实验。作者把 64 层削到 32 层，试了几种削法，测了困惑度，保留最好的一种。嵌入层没有动，所以实际大小是 14.7B 参数，而不是 13.5B。

刚剪完时输出完全是坏的。之后又做了训练，由两个 Qwen3.8 模型担任教师，很大一部分质量恢复了。模型会说日语和英语。

适合谁：它适合喜欢模型剪枝、想要一个继续训练的起点的研究者和爱好者。作者明确说它不实用，它的回答会偏离问题。

行业 | 谁在用 | 怎么用 | 例子
研究 | 机器学习研究者 | 研究层剪枝和靠蒸馏恢复 | 与 27B 模型做对比
家庭实验室 | 爱好者 | 试用一个剪枝模型并继续训练它 | 用闲置算力做额外训练
教育 | 学习模型压缩的学生 | 看看剪掉一半层数会怎样 | 对比训练前后的输出
软件 | 开发者 | 测试更小的 Qwen3.8 变体 | 检查日语和英语回复

如果你需要可靠的助手，可以跳过它，因为作者说它现在还不是。

用在哪里：

• 装有 transformers 的 Python，用于 safetensors 文件
• 能加载 GGUF 文件的本地应用
• Windows、macOS 或 Linux，下载步骤需要 Python

用例 | 谁用 | 得到什么
剪枝研究 | 研究者 | 一个具体的半深度模型可供研究
继续训练 | 有闲置算力的人 | 一个已经会说日语和英语的基础
日语和英语测试 | 爱好者 | 可能偏离输入的回复

如何设置：先准备好下面这些东西。

• Python 和 pip，用于下载命令
• 用于 GGUF 文件的本地应用，或用于 safetensors 文件的 transformers
• 按记录的估算，4 位约需 7.4 GB 磁盘空间

1. 用 pip 安装 Hugging Face hub 包。
2. 用 hf 命令下载仓库。
3. 在你的工具里加载文件。模型卡没有运行命令。

pip install -U huggingface_hub
hf download kusuriya-labs/Qwen3.8-13.5B

如何使用：你加载模型，用日语或英语给它提示词。预计回复和输入只是大致相关。模型卡讲得很清楚，这是个实验，所以把输出当作好奇心的产物。

示例：你在本地应用里加载 GGUF 文件，用日语问一个简短的问题。模型用日语或英语回答，但回复可能和问题对得不太上。作者自己也坦率地这么说。

新手与专家：新手应该先用一个更大、更完整的模型，出于好奇再回来看这个。试一个简短的提示词，看看半深度模型会怎么样。

剪枝去掉了 Qwen3.8-27B 64 层中的一半。作者按困惑度比较了几种去除方式，选了最好的。之后的训练用了两个教师模型来恢复输出。作者邀请算力更多的人继续训练，争取做出更强的模型。

Title: 模型卡中的层数
Qwen3.8-27B: 64 layers
这个模型: 32 layers

剪掉 Qwen3.8-27B 一半的层
测量困惑度并选出最好的削法
用两个教师模型训练
发布恢复后的模型

注意事项：

• License: Apache 2.0
• Cost to run: 来源没有提到
• Data it reaches: 它把文件从 Hugging Face 下载到你的电脑上
• Not for: 实际使用，因为作者说它是实验，回答会偏离输入

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：14.7B
• Weights: about 7.4 GB at 4-bit (estimate)
• Formats: Safetensors, GGUF
• 最近 30 天下载：414
• 点赞：12
• 许可证：apache-2.0
• 语言：ja, en
• 基于：Qwen/Qwen3.8-27B
• 标签：safetensors, gguf, qwen3.8, text-generation, conversational

链接

• 模型：https://huggingface.co/kusuriya-labs/Qwen3.8-13.5B
• 文件：https://huggingface.co/kusuriya-labs/Qwen3.8-13.5B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download kusuriya-labs/Qwen3.8-13.5B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。