Thinklite-27B

Thinklite-27B

Qwen3.8-27B 的一个变体，推理用的 token 少得多，高强度下最终答案约快一倍，适合运行推理模型并希望等待更短的人。

由 Sparset 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Thinklite-27B 是 Qwen3.8-27B 的一个变体，目标是在推理上少花 token。按模型卡自己对六个基准的平均，它在最高强度设置下把推理减少 47%，得分仍有 89.8，基础模型是 90.2。它接收图片和文字，返回文字。

适合谁：它适合运行推理模型，并在意用户等最终答案要多久的开发者和团队。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在本地运行推理模型，等待更短 | 回答更快的编程助手
智能体开发 | 智能体开发者 | 降低多步智能体里长推理的成本 | 每一步都完成得更快的会用工具的智能体
人工智能研究 | 研究人员 | 对比高效推理的方法 | 与同一基础模型的 ThinkingCap 和 Swift 变体对比测试
运维 | IT 团队 | 托管一个回答员工问题的模型 | 响应时间更短的内部助手

如果你希望每个问题都用基础模型最长的推理，可以跳过它。

用在哪里：

• 使用 transformers 库的 Python
• llama.cpp 和 Ollama，通过单独的 GGUF 版本
• 内存足够运行 27B 模型的 Windows、macOS 或 Linux 电脑

Use case | Who | What they get back
难题 | 开发者 | 用更少推理 token 得出的最终答案
快速回复 | 应用团队 | 低强度设置下更短的等待
图片和文字提示 | 研究人员 | 关于图片和文档的文字回答

如何设置：

你需要先准备：

• Python 和 pip
• 能放下约 55.6 GB BF16 权重的 GPU 环境，4-bit 估算约 13.9 GB

1. 安装 Hugging Face hub 工具。
2. 下载模型文件。
3. 按模型卡的说明用 transformers 加载模型。
4. 如果用 llama.cpp 或 Ollama，改用单独的 GGUF 版本，它是一个 16.5 GB 的 Q4_K_M 文件。

pip install -U huggingface_hub
hf download Sparset/Thinklite-27B

如何使用：像使用 Qwen3.8-27B 一样提问，并选择推理强度。模型卡报告的两个设置 xhigh 和 low 都有节省。具体运行方式在模型卡里。

Tool | What it does
reasoning_effort xhigh | 平均减少 47% 的推理，最终答案约快 2x
reasoning_effort low | 平均减少 28% 的推理，最终答案快 1.3x
TTFO | 到完整最终答案出现为止的时间，用来衡量速度

示例：你在 xhigh 设置下问一个很难的数学题。按模型卡的平均数，模型用的推理约是基础模型的一半，所以最终答案大约在一半的等待时间里回来。单个问题会有差别。

新手与专家：推理模型在回答之前会用很多 token 思考，这需要时间。这个模型的目标是想得更短，同时不损失准确度。第一步可以用同一个问题分别试 low 和 xhigh 设置。

模型卡衡量的是，在同样强度下，每个答案的平均推理 token 数相对 Qwen3.8-27B 的变化，并在六个基准上取平均。它还报告了最终输出时间的加速，并与 ThinkingCap-Qwen3.8-27B 和 Swift-1.5-Qwen3.8-27b 做了对比。

你发送问题和强度设置
模型用更少的 token 推理
它写出最终答案
你比用基础模型等得更短

注意事项：这些数字是作者自己的平均值，所以你自己的提示词可能有差别。

Title: xhigh 强度下相对基础模型节省的推理
Thinklite-27B: 47.0 %
ThinkingCap-Qwen3.8-27B: 45.8 %
Swift-1.5-Qwen3.8-27b: 35.6 %

• 准确度: 在 low 设置下保留基础准确度的 97.5%，低 2.2 个点
• GGUF: 单独的 Q4_K_M 版本比同样量化的基础模型少用 48% 的推理，准确度为其 99.3%
• 其他版本: 列出了其他人做的 4 个量化版本和 0 个微调版本
• License: Apache 2.0
• Cost to run: 未提及，GPU 由你自己提供
• Data it reaches: 你给它的提示词和图片

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：27.8B
• Weights: about 55.6 GB in BF16; about 13.9 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：568
• 点赞：51
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 4
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, thinklite, reasoning, efficient-reasoning, qwen3.8, conversational

链接

• 模型：https://huggingface.co/Sparset/Thinklite-27B
• 文件：https://huggingface.co/Sparset/Thinklite-27B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Sparset/Thinklite-27B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。