Qwen-Fixed-Chat-Templates

Qwen-Fixed-Chat-Templates

用一个即插即用的 Jinja 文件替换 Qwen 官方聊天模板，修复渲染错误、缓存失效、浪费词元和智能体卡住的问题。适合在本地运行 Qwen 3.5、3.6 和 3.8 模型的人。

由 froggeric 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个 Jinja 聊天模板 chat_template.jinja，适用于 Qwen 3.5、3.6 和 3.8 模型，包括 3.8 Flash-Next 各规格。作者说官方模板有多种问题，比如渲染错误、KV 缓存被丢掉、浪费词元、空的思考块，以及智能体卡住。当前版本是 v22.5。

适合谁：它适合在自己机器上运行 Qwen 模型、并让编码智能体或聊天应用连接过来的人。

行业 | 谁在用 | 怎么用 | 例子
本地 AI 爱好 | 爱好者 | 在 LM Studio 里替换模板，让聊天更干净 | 把文件粘贴到提示词模板框里
软件开发 | 开发者 | 让编码智能体对接本地 Qwen 服务器 | 把 OpenCode 或 Claude Code 连到 llama-server
平台工程 | 推理工程师 | 用 vLLM 或 SGLang 提供 Qwen 模型服务 | 替换 tokenizer_config.json 里的聊天模板字符串
模型工具 | 模板维护者 | 检查模型文件夹用的是哪个模板版本 | 运行自带的检查脚本

如果你的引擎不能加载 Hugging Face 的 Jinja 模板，或者你不用 Qwen 模型，可以跳过它。

用在哪里：

• LM Studio
• llama.cpp、llama-server 和 KoboldCPP
• vLLM 和 SGLang
• MLX 和 oMLX
• 任何其他读取 Hugging Face Jinja 模板的引擎

用例 | 谁用 | 得到什么
智能体工具调用 | 智能体用户 | 在历史记录里渲染不会崩溃的工具参数
推理控制 | API 用户 | 默认中等强度，并有开关可以调高或关闭
缓存复用 | 服务器运维 | 在多轮之间保持 KV 缓存有效的提示词

如何设置：你需要一个 Qwen 模型和一个受支持的引擎，方法取决于你用哪个引擎。

• 一个 Qwen 3.5、3.6 或 3.8 模型
• 一个受支持的引擎，如 llama.cpp、LM Studio 或 vLLM
• 这个仓库里的 chat_template.jinja 文件

1. 下载仓库文件。
2. 用 llama.cpp 的话，用模板文件和 DeepSeek 推理格式启动 llama-server。
3. 用 LM Studio 的话，打开模型，找到 Prompt Template，用这个文件的内容替换并保存。
4. 用 vLLM 的话，把 tokenizer_config.json 里的 chat_template 字符串换成单行版本，再用给出的解析器启动模型服务。

pip install -U huggingface_hub
hf download froggeric/Qwen-Fixed-Chat-Templates

llama-server -m your_model.gguf --jinja --chat-template-file chat_template.jinja --reasoning-format deepseek

vllm serve Qwen/Qwen3.8-2.4T-A95B --reasoning-parser qwen3 --tool-call-parser qwen3_xml

如何使用：模板加载后，你照常聊天即可。推理深度默认为中等。你可以把 enable_thinking 设为 false，或把 reasoning_effort 设为 none 来关闭它，也可以在聊天里输入内联标签来调节。

工具 | 作用
--chat-template-file | 把这个模板加载到 llama-server
--reasoning-format deepseek | 把思考块移到响应的 reasoning_content 字段
--reasoning-preserve | 在较新的 llama.cpp 构建上保留前缀 KV 缓存
scripts/check_applied.py | 检查模型文件夹和 GGUF 文件里正在生效的模板版本

示例：你用 DeepSeek 推理格式把 Claude Code 之类的编码智能体连到 llama-server。思考文本会进入单独的响应字段，不再漏进文本流而截断工具调用。

新手与专家：如果你刚接触这类工具，聊天模板就是把你的消息变成模型所读确切文本的配方。配方有问题会带来奇怪的错误，所以第一次可以先在 LM Studio 里加载这个文件。

对熟悉这个领域的人来说，这个模板会把客户端的强度名称映射到 Qwen 的级别，所以 high、max、ultracode 和 extreme 变成 xhigh，none 或 off 则关闭思考。它还会合并开头连续的 system 和 developer 消息，并采用两级的工具错误恢复。

你的引擎加载 chat_template.jinja
消息和工具以统一格式渲染
推理强度由默认值或标签设定
模型回复，思考内容被分离出来

注意事项：Qwen 3.8 官方模板默认使用最高强度，而这个默认用中等强度，以节省词元并保持缓存稳定。

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 只有你的引擎格式化的提示词，以及检查脚本读取的模型文件夹
• Not for: 不能加载 Hugging Face Jinja 模板的引擎

Hugging Face 上的数据（2026年11月13日）

• 框架：mlx
• 最近 30 天下载：0
• 点赞：1,901
• 许可证：apache-2.0
• Fine-tunes: 12
• 标签：jinja, chat-template, qwen, qwen3.5, qwen3.6, qwen3.8, lm-studio, llama.cpp, vllm, tool-calling, thinking

链接

• 模型：https://huggingface.co/froggeric/Qwen-Fixed-Chat-Templates
• 文件：https://huggingface.co/froggeric/Qwen-Fixed-Chat-Templates/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download froggeric/Qwen-Fixed-Chat-Templates

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。