Signal 3.8 27B

Signal 3.8 27B

比 Qwen3.8-27B 回答更简短直接，使用更少的回答和思考 token，因此回复结束得更早。这是一次轻量微调，可以直接用在与基础模型相同的工具里。

由 agentionai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Signal 3.8 27B 是 AgentionAI 对 Qwen3.8-27B 做的轻量微调，目的是降低生成延迟和 token 用量。它去掉了开场白、多余的格式和结尾客套，同时保留答案的实质内容。在模型卡对第一版的测试中，回答长度的中位数从 243 个 token 降到了 104 个。

适合谁：如果你的团队已经在运行 Qwen3.8-27B，想在不改动工具的情况下得到更快的回复、更短的输出和更低的 token 用量，它就适合你。

行业 | 谁在用 | 怎么用 | 例子
软件 | 运行聊天助手的团队 | 用 Signal 换下基础模型 | 回复结束得更快的客服聊天
开发者工具 | 编程助手的开发者 | 在更短的代码回答有帮助的地方使用 | 编程回答的 token 中位数少 11%
本地 AI | 运行 llama.cpp 的爱好者 | 加载 GGUF 档位并启用草稿头 | JSON 输出比基础模型解码得更快
研究 | 研究自蒸馏的人 | 研究用基础模型自己的回答微调出的模型 | 对比微调前后的 token 数

如果你喜欢冗长、格式繁多的回答，或者并不运行 Qwen3.8-27B，可以跳过它。

用在哪里：

• transformers、vLLM 和 SGLang，作为 Qwen3.8-27B 的替代品
• 任何量化流程，以及通过单独的 GGUF 仓库使用的 llama.cpp
• 装有 Python 的 Windows、macOS 和 Linux，用来下载文件

用例 | 谁 | 得到什么
聊天回复 | 产品团队 | 开场白和标题更少的直接回答
编程辅助 | 开发者 | 更短的代码回答
推理任务 | 开发者 | token 更少的思考过程

如何设置：
你需要先准备：

• Windows、macOS 或 Linux 上的 Python
• 约 55.6 GB 的 BF16 权重所需的磁盘空间，4 位版本约 13.9 GB，这是估算值
• 一个能运行 Qwen3.8-27B 的工具，例如 transformers、vLLM 或 SGLang

1. 安装或更新 Hugging Face 下载客户端。
2. 把这个仓库的文件下载到你的电脑。
3. 在你原本加载 Qwen3.8-27B 的地方改为加载 Signal。
4. 应用命令后面列出的模型卡采样设置。

pip install -U huggingface_hub
hf download agentionai/Signal-3.8-27B

模型卡给出的、用于稳定简短推理的设置：

• Temperature: 0.6
• Min-p: 0.05，同时 top-p 为 0.95，top-k 为 20
• KV cache: q8_0 或 f16
• 多 token 预测草稿头：开启

如何使用：你像用基础模型一样使用 Signal：发送聊天提示词并阅读回复。在 llama.cpp 里，模型卡的速度测试用一个参数开启了草稿头。

工具 | 作用
--spec-type draft-mtp | 用多 token 预测草稿头开启推测解码
hf download | 把仓库的文件下载到你的电脑

示例：你问一个通用问题，基础模型会以热情的开场白开头。Signal 则直接从实质内容开始，标题和加粗标记也更少。模型卡中它的中位数是 104 个 token，基础模型是 243 个。

新手与专家：Signal 是被调得少说废话的 Qwen3.8-27B。可以先把它加载到你用基础模型的地方，对比一条回答的长度和风格。

对熟悉这个领域的读者来说，它是用基础模型自己的回答做自蒸馏训练出来的，生成这些回答时用了一条要求直接作答的指令，而最终模型已不再需要这条指令。训练没有用任何外部数据。它的回答更容易预测，所以草稿头与模型达成一致的次数更多。在 JSON 上用三个草稿 token 时，接受率从 72% 升到了 94%。

加载 Signal 来替代 Qwen3.8-27B
设置 temperature 0.6 和 min-p 0.05
条件允许就开启草稿头
发送一条聊天提示词
得到更短、更直接的回答

注意事项：

• 设置：不设 min-p 时，长回答在某些采样下会陷入重复，而 4 位的 value 缓存会让这种重复必然发生。
• 重新下载：模型卡说权重在第一版之后更新过，所以旧的下载应当替换。
• 数字：这些百分比来自第一版，作者说正在用更新后的权重重新测量。
• 测试：模型卡在 llama.cpp 里以 Q8_0 对比两个模型，用的是较小的数据集，例如关闭思考模式的 60 道 GSM8K 题。
• 速度：在 JSON 上用三个草稿 token 时，一台测试机器上的解码速度提升了 20%，但在散文上用四个草稿 token 反而慢了 9%。

Title: 通用提示词上的回答 token 中位数
Base model Q8_0: 243 tokens
Signal: 104 tokens

• License: Apache 2.0。
• Cost to run: 未提及。你需要能容纳 27.8B 参数的硬件。
• Data it reaches: 按来源所示，只有从 Hugging Face 下载文件。
• Not for: 这里的文字里没有提到。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：27.8B
• Weights: about 55.6 GB in BF16; about 13.9 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：20,222
• 点赞：19
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 6
• Fine-tunes: 1
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, token-efficient, efficient-thinking, qwen3.8, qwen3.8-27b, terse, agentionai, conversational

链接

• 模型：https://huggingface.co/agentionai/Signal-3.8-27B
• 文件：https://huggingface.co/agentionai/Signal-3.8-27B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download agentionai/Signal-3.8-27B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。