Qwen3.8-27b-Terse-Coder-LoRA

Qwen3.8-27b-Terse-Coder-LoRA

缩短 Qwen3.8-27B 在编程任务上的推理长度，让答案更快出来，以一个小型 LoRA 适配器的形式提供。适合在自己硬件上运行基础模型的人。

由 Shockem 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个给 Qwen3.8-27B 用的小型 LoRA 适配器，让模型在回答编程问题前少想很多。它用偏好对训练，这些偏好对由运行测试和按熵剪枝步骤选出，没有人工或 LLM 评判。作者说它保持了正确率，同时推理变短了很多。

适合谁：适合在自己硬件上运行 27B 模型、嫌它推理太久的人，以及研究如何压缩推理的研究者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 使用本地编程模型的开发者 | 缩短代码出现前的漫长等待 | 对一道简短的编程题几乎直接给出答案
自托管 | 用消费级硬件的爱好者 | 用更短的推理运行 27B 基础模型 | 每个提示词少等很多时间
科研 | 机器学习研究者 | 研究用经测试检验的偏好对做 DPO 来压缩推理 | 对比第 6、7、8 轮的结果

想读模型完整逐步推理的人可以跳过它，因为适配器就是有意把它缩短。

用在哪里：

• 装有 peft 库的 Python，它能加载 LoRA 适配器
• vLLM，作者在运行时加载适配器来使用它
• Windows、macOS 或 Linux，装有 Python，用来下载文件

使用场景 | 适合谁 | 你会得到什么
更短的推理 | 开发者 | 在模型卡的测试里平均约 41 个推理词元后给出答案
原版基础模型搭配 | 自托管的人 | 最大幅度的缩短，用在 Qwen3.8-27B 或它的 NVIDIA NVFP4 版本上
Signal 搭配 | 自托管的人 | 在本来就很短的模型上再缩短 40%

如何设置：你需要先准备几样东西。

• Python 和 pip
• 一个 Qwen3.8-27B 基础模型，因为这个适配器不能单独使用
• 能加载 LoRA 适配器的运行环境，比如 peft 或 vLLM

1. 用 pip 安装 Hugging Face hub 工具。
2. 下载适配器文件。
3. 加载基础模型，再把适配器加载到它上面。

pip install -U huggingface_hub
hf download Shockem/Qwen3.8-27b-Terse-Coder-LoRA

如何使用：你在加载了适配器的基础模型上输入提示词，和不加载时一样。模型卡按效果给搭配排了序。原版 Qwen3.8-27B 或它的 NVIDIA NVFP4 版本排第一，Signal-3.8-27B 排第二，同一作者的第三个基础模型是可选的。

工具 | 作用
仓库根目录的适配器 | 最终一轮，也就是第 8 轮，应该用的就是它
archive 文件夹 | 存放更早的轮次，包括第 7 轮和第 6 轮
archive 里的第 6 轮 | 模型卡点名的某个特定基础模型的通过率持平之选
合并后的模型 | 适配器已合并进基础模型的版本，作者也提供

示例：你给加载了适配器的模型一道基准里的编程题，比如 HumanEval 的题。它用少得多的推理词元回答，在模型卡的测试里平均约 41 个，而 NVIDIA NVFP4 基线约 700 个，代码大多数时候仍能通过测试。

新手与专家：LoRA 是一个小的附加文件，用来改变大模型的行为，所以你始终还需要基础模型。第一次尝试时，下载适配器，把它加载到 Qwen3.8-27B 上，给它一个编程问题，看看推理有多短。

这个适配器秩为 16，用 DPO 训练。它的效果会叠加在基础模型本来的简洁程度之上。模型卡的测试用了 20 道 HumanEval 和 20 道 MBPP 题，这些题没有参与训练，通过率用运行测试来计算，并提醒单次运行会有约 20% 的波动。

先加载 Qwen3.8-27B 基础模型
在上面应用 LoRA 适配器
你发送一个编程提示词
模型推理的词元少了很多
返回代码答案

注意事项：

• License: Apache 2.0。
• Cost to run: 没有提到 API 密钥或付费服务。成本是运行 27B 基础模型的硬件，因为适配器本身在 4-bit 下估计只有约 58 MB。
• Data it reaches: 只有你给它的提示词和代码。模型卡没有提到文件、网络或账号访问。
• Not for: 需要长篇可见推理的工作，或后续的研究，因为作者说不再计划新的轮次。留出集上的通过率是 70.0%，基础模型约为 72%。

Title: 第 8 轮在留出题目上的推理词元数
用了适配器: 41 tokens
NVIDIA NVFP4 基线: 700 tokens

Hugging Face 上的数据（2026年11月13日）

• 框架：peft
• 参数量：117M
• Weights: about 58 MB at 4-bit (estimate)
• Formats: Safetensors, GGUF
• 最近 30 天下载：244
• 点赞：6
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• 标签：peft, safetensors, gguf, lora, reasoning, coding, qwen3

链接

• 模型：https://huggingface.co/Shockem/Qwen3.8-27b-Terse-Coder-LoRA
• 文件：https://huggingface.co/Shockem/Qwen3.8-27b-Terse-Coder-LoRA/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Shockem/Qwen3.8-27b-Terse-Coder-LoRA

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。