Qwen2.5-Coder-7B

Qwen2.5-Coder-7B

作为 7.6B 的基础语言模型来补全和生成代码，开发者可以运行它、微调它，或用于代码中间填充任务。适合制作编程工具的人。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen2.5-Coder-7B 是一个面向代码的基础语言模型，是 Qwen2.5-Coder 系列六种尺寸中的一种。它有 76 亿参数，基于 Qwen2.5-7B 构建，目标是代码生成、代码推理和代码修复。它的完整上下文长度是 131,072 个 token。

适合谁：它适合开发编程工具的开发者，也适合想用 SFT 或 RLHF 来调整代码模型、或继续训练它的团队。来源没有说它可以直接当聊天助手用。

Industry | Who uses it | How they use it | Example
软件开发 | 工具开发者 | 补全代码文件中间的部分 | 补全一个函数开头和结尾之间的内容
人工智能研究 | 机器学习工程师 | 用 SFT、RLHF 或继续预训练做出调整后的版本 | 以这个基础模型训练一个代码助手
开发者工具 | 平台团队 | 用 vLLM 部署这个模型 | 一个供团队共用的代码补全服务

如果你想要一个能在聊天里回答问题的模型，可以跳过它，因为模型卡建议不要把这个基础模型用于对话。

用在哪里：

• 使用 transformers 库的 Python
• vLLM，模型卡推荐用它来部署
• 文件下载到电脑之后，在 Windows、macOS 或 Linux 上使用

Use case | Who | What they get back
代码补全 | 开发者 | 接着你给出的文字继续写下去的代码
中间填充 | 工具开发者 | 开头和结尾之间缺少的代码
微调基础 | 机器学习工程师 | 调整代码模型的起点

如何设置：

• Windows、macOS 或 Linux 上的 Python
• huggingface_hub 包，用来下载文件
• 最新版本的 transformers，因为旧版本在这个模型上会失败
• 为约 15.2 GB 的 BF16 权重留出空间

1. 安装 Hugging Face 的 hub 包。
2. 把模型文件下载到你的电脑。
3. 让 transformers 保持最新。
4. 输入超过 32,768 个 token 时，在 config.json 里加入 rope_scaling 条目。

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-Coder-7B

如果 transformers 比 4.37.0 更旧，加载会因为下面这个错误而停止。

KeyError: 'qwen2'

用来为长输入开启 YaRN 的 config.json 条目如下。

{
  ...,
  "rope_scaling": {
    "factor": 4.0,
    "original_max_position_embeddings": 32768,
    "type": "yarn"
  }
}

如何使用：日常使用时，你用 transformers 加载模型，再给它一段要续写的文字，比如一个函数的开头。模型卡没有给出聊天提示词，而是指向后训练、继续预训练或中间填充任务。

Tool | What it does
hf download | 把模型文件下载到你的电脑
config.json 里的 rope_scaling | 为超过 32,768 个 token 的输入开启 YaRN
vLLM | 模型卡推荐的部署方式

示例：你给模型一个函数的开头，包括函数签名和一条说明它该做什么的注释。它会以纯文本补全的方式接着写出函数体。聊天式的提问并不合适，因为这是基础模型。

新手与专家：如果你是新手，先用上面两条命令下载文件，再读一读模型卡。然后在 Python 里用 transformers 加载模型，给它一段代码的开头几行。

如果你熟悉这个领域：这是一个处于预训练阶段的因果语言模型，有 28 层，使用 RoPE、SwiGLU、RMSNorm 和注意力 QKV 偏置。它用 28 个查询头和 4 个键值头。vLLM 里的 YaRN 是静态的，缩放系数保持不变，所以在短文本上效果可能变差。

你给出一段代码的开头
模型通过 28 层读取它
它预测接下来的 token
代码以纯文本形式继续下去

注意事项：

Title: 系列各尺寸的参数量
最小: 0.5 十亿
其次: 1.5 十亿
第三: 3 十亿
本模型: 7 十亿
第五: 14 十亿
最大: 32 十亿

• 基础模型：模型卡建议不要把它用于对话
• 上下文：config.json 默认设为 32,768 个 token，YaRN 可以把它扩展
• 大小：BF16 约 15.2 GB，4-bit 估计约 3.8 GB
• License: apache-2.0
• Cost to run: 没有提到费用，在你自己的硬件上运行
• Data it reaches: 你给它的文字，以及你从 Hugging Face 下载的模型文件
• Not for: 与基础模型对话，模型卡并不推荐这样做

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：7.6B
• Weights: about 15.2 GB in BF16; about 3.8 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：334,246
• 点赞：200
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen2.5-7B
• Quantized versions: 52
• Fine-tunes: 121
• 标签：transformers, safetensors, qwen2, text-generation, code, qwen, qwen-coder, codeqwen, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen2.5-Coder-7B
• 文件：https://huggingface.co/Qwen/Qwen2.5-Coder-7B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-Coder-7B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。