Instinct

Instinct

预测你在代码里接下来可能做的修改。这是 Continue 推出的 7.6B 模型，基于 Qwen2.5-Coder-7B 微调，适合想在自己电脑或服务器上运行它的开发者。

由 continuedev 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Instinct 是 Continue 推出的下一步编辑模型。它读取你在代码里正在做的修改，预测你接下来最可能做的改动。Continue 在 Qwen2.5-Coder-7B 基础上，用真实的代码编辑数据继续训练了它。模型的参数量为 7.6B。

适合谁：适合使用 Continue、想用自己运行的模型获得编辑建议的开发者，在笔记本或共享服务器上都可以。

Industry | Who uses it | How they use it | Example
软件开发 | 使用 Continue 的开发者 | 把自托管的副本连接到编辑器 | 修改一个函数后，得到可能的下一步改动建议
个人编程 | 只有一台电脑的开发者 | 通过 Ollama 运行量化副本 | 在开始编码前启动小型本地副本
平台团队 | 自己托管模型的团队 | 用 SGLang 或 vLLM 提供模型服务 | 启动一台服务器，让多个编辑器连接

如果你不写代码，或者没有办法运行 7.6B 的模型，可以跳过它。

用在哪里：只要你能提供模型服务并连接到 Continue，它就能运行。

• Continue：这个模型要连接的编辑器工具
• Ollama：通过单独的量化副本在本地使用
• SGLang：在命令行启动的服务器
• vLLM：同一份权重的另一种服务器选择
• Windows、macOS 或 Linux：可以用 Python 下载文件的系统

Use case | Who | What they get back
下一步编辑建议 | Continue 里的开发者 | 模型预期你接下来要做的改动
本地推理 | 个人开发者 | 在你自己电脑上运行的较小量化副本
自托管服务 | 团队 | 可供 Continue 连接的服务器

如何设置：先决定用哪种方式提供服务，再下载或运行它。

• 带 pip 的 Python，用来下载文件
• Continue，用来把模型连接到编辑器
• 存放权重的空间：BF16 约 15.2 GB，4-bit 估计约 3.8 GB

1. 安装 Hugging Face hub 库。
2. 把模型文件下载到你的电脑。
3. 用 SGLang 或 vLLM 提供服务，或用 Ollama 运行量化副本。
4. 把运行中的模型连接到 Continue。

pip install -U huggingface_hub
hf download continuedev/instinct

用 SGLang 提供服务：

python3 -m sglang.launch_server --model-path continuedev/instinct --load-format safetensors

用 vLLM 提供服务：

vllm serve continuedev/instinct --served-model-name instinct --load-format safetensors

用 Ollama 运行量化副本：

ollama run nate/instinct

如何使用：服务器或 Ollama 运行起来后，把 Continue 指向它，照常编辑即可。下面每条命令对应一种运行模型的方式。

Tool | What it does
hf download | 把模型文件下载到你的电脑
ollama run | 在本地运行量化副本
sglang.launch_server | 通过 SGLang 提供完整权重的服务
vllm serve | 通过 vLLM 提供完整权重的服务

示例：你在终端输入 ollama run nate/instinct。Ollama 会在你的电脑上启动 Instinct 的量化副本。接着把 Continue 指向它并编辑一些代码，它会给出它预期你接下来要做的改动。

新手与专家：如果你刚接触这类模型，先试 Ollama 命令。这是让模型跑起来最短的路，然后连接到 Continue，试着做一次小修改。

如果你熟悉这个领域，这是一个 7.6B 的 Safetensors 权重模型，基于 Qwen2.5-Coder-7B，用真实编辑数据训练。你可以用 SGLang 或 vLLM 提供服务，也可以用 Q4_K_M GGUF 副本做更轻量的本地推理。

你在 Continue 里编辑代码
Continue 调用已部署的模型
Instinct 预测下一步编辑
你查看这条建议

注意事项：Instinct 是用于 transformers 库的文本生成模型。其他人已发布了 8 个量化版本和 1 个微调版本。

• License: Apache 2.0
• Cost to run: 未提及，硬件由你自己提供
• Data it reaches: 模型卡没有提到除你所连接的编辑器之外的内容
• Not for: 模型卡没有列出不适用的情形

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：7.6B
• Weights: about 15.2 GB in BF16; about 3.8 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：112
• 点赞：72
• 许可证：apache-2.0
• 基于：Qwen/Qwen2.5-Coder-7B
• Quantized versions: 8
• Fine-tunes: 1
• 标签：transformers, safetensors, qwen2, text-generation, conversational

链接

• 模型：https://huggingface.co/continuedev/instinct
• 文件：https://huggingface.co/continuedev/instinct/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download continuedev/instinct

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。