Qwen2.5-Coder-32B-Instruct

Qwen2.5-Coder-32B-Instruct

编写、解释和修复代码，是 Qwen2.5-Coder 系列中最大的指令微调模型，32B 参数。适合想在自己硬件上运行强大开源编程模型的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen2.5-Coder-32B-Instruct 是 Qwen2.5-Coder 系列的 32B 指令微调模型，该系列以前叫 CodeQwen。它面向代码生成、代码推理和代码修复。模型卡称其训练规模增长到 5.5 万亿个 token，包括源代码和文本与代码的配对数据。

适合谁：想自己托管大型开源编程模型，用于补全、评审和智能体类工作的开发者和团队。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 用本地模型生成和修复代码 | 让它写一个快速排序例程
开发工具 | 工具开发者 | 用开源模型驱动代码智能体 | 接入一个会编辑文件的智能体
教育 | 学习者 | 获取代码和算法的讲解 | 问一个函数为什么出错

如果你没有大显存的 GPU，模型卡里更小的 Coder 尺寸可能更适合你。

用在哪里：

• 你自己的电脑或服务器，装有 Python 和 transformers 库
• vLLM，模型卡推荐用它部署
• Qwen Chat，模型卡链接的托管聊天服务

Use case | Who | What they get back
代码生成 | 开发者 | 根据平实请求写出的可用代码
代码修复 | 开发者 | 出错代码的修正版本
代码智能体 | 工具开发者 | 能驱动智能体工作流的模型

如何设置：

• 带 pip 的 Python
• 较新的 transformers 版本，因为 4.37.0 以下的版本会报 qwen2 的 KeyError
• BF16 权重约 65.5 GB 磁盘空间，4-bit 约 16.4 GB（估算值）

1. 安装 Hugging Face hub 工具。
2. 下载模型文件。
3. 运行模型卡里的 Python 代码，它会加载分词器和模型并生成回复。

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-Coder-32B-Instruct

如何使用：用聊天模板格式化 system 和 user 消息，然后生成。这是模型卡里的代码，它请模型写一个快速排序算法。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen2.5-Coder-32B-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "write a quick sort algorithm."
messages = [
    {"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

如果输入超过 32,768 个 token，模型卡说对支持的框架，要在 config.json 里加上 YaRN 设置。

{
  ...,
  "rope_scaling": {
    "factor": 4.0,
    "original_max_position_embeddings": 32768,
    "type": "yarn"
  }
}

示例：你原样运行这段代码，它请模型写一个快速排序算法。变量 response 里是模型给出的代码回答，最多 512 个新 token。

新手与专家：如果你是新手，先运行上面的代码，再把 prompt 换成你自己的小型编程任务。先确认 GPU 显存，因为权重很大。

如果你是专家，模型有 64 层，40 个查询头和 8 个键值头。默认配置处理 32,768 个 token，YaRN 把它向完整的 131,072 拉伸。模型卡指出 vLLM 使用静态 YaRN，可能会损害较短文本的表现。

你发出一个编程请求
聊天模板格式化消息
模型生成代码和说明
你解码回复并审阅

注意事项：模型卡说，只有在需要处理长输入时才应加上 YaRN 设置。

Title: 模型卡中 Qwen2.5-Coder-32B-Instruct 的数据
层数: 64 层
参数量: 32.5 十亿
非嵌入参数量: 31.0 十亿
完整上下文: 131072 个 token

• License: Apache 2.0，与 Hugging Face 记录一致。
• Cost to run: 没有提到 API 密钥或账号。你需要能放下权重的硬件。
• Data it reaches: 下载会访问 Hugging Face。代码没有说明会访问其他文件或网络。
• Not for: 模型卡没有列出禁止的用途。静态 YaRN 可能降低短文本的质量，所以只在长输入时启用。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：32.8B
• Weights: about 65.5 GB in BF16; about 16.4 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：546,583
• 点赞：2,211
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen2.5-Coder-32B
• Quantized versions: 141
• Fine-tunes: 156
• 标签：transformers, safetensors, qwen2, text-generation, code, codeqwen, chat, qwen, qwen-coder, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen2.5-Coder-32B-Instruct
• 文件：https://huggingface.co/Qwen/Qwen2.5-Coder-32B-Instruct/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-Coder-32B-Instruct

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。