Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3

Mistral AI 的 7.2B 开源聊天模型，能遵循指令，还能调用你描述的函数。它由 Mistral-7B-v0.3 微调而来，可用 mistral_inference 或 transformers 运行。

由 mistralai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Mistral-7B-Instruct-v0.3 是一个有 7.2B 参数、经过调优来遵循指令的语言模型。它从 Mistral-7B-v0.3 出发。与 v0.2 相比，底层模型的词表扩展到了 32768，能配合 v3 分词器，并支持函数调用。你给它一个聊天请求，它就写出回复，或者写出对你所描述函数的调用。

适合谁：它适合想要一个紧凑的、能调用函数的开源聊天模型、并且能在自己硬件上运行 7B 模型的开发者。

行业 | 谁在用 | 怎么用 | 例子
软件开发 | 应用开发者 | 添加一个自托管的聊天助手 | 通过 mistral-chat 请它简短解释机器学习
自动化 | 把模型连接到工具的团队 | 让模型调用你定义的函数 | 描述一个天气函数，并询问巴黎的天气
研究 | 爱折腾的人和研究者 | 比较紧凑的指令模型 | 从这个模型出发，测试你自己的提示

如果你需要更大的模型来做困难的推理，可以略过它。

用在哪里：

• 内存足够放下权重的电脑，BF16 下约 14.5 GB，4 位下约 3.6 GB，这只是估算值
• 使用 mistral_inference 或 transformers 的 Python 脚本
• 用 vLLM 提供模型服务的应用，Hugging Face 页面列出的就是这个库
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用途 | 谁用 | 能得到什么
聊天 | 开发者 | 对你输入的指令的回复
函数调用 | 工具开发者 | 对你所描述函数的结构化调用
角色回复 | 爱好者 | 用系统消息设定风格的回答，就像海盗的示例

如何设置：
你需要先准备：

• Python
• mistral_inference，如果你更喜欢，也可以用 transformers
• 通过 transformers 做函数调用，需要 4.42.0 或更高版本
• 约 14.5 GB 的 BF16 权重空间

1. 安装 mistral_inference。
2. 把模型卡列出的三个文件下载到你主目录里的一个文件夹。
3. 对那个文件夹运行 mistral-chat。

pip install mistral_inference

from huggingface_hub import snapshot_download
from pathlib import Path

mistral_models_path = Path.home().joinpath('mistral_models', '7B-Instruct-v0.3')
mistral_models_path.mkdir(parents=True, exist_ok=True)

snapshot_download(repo_id="mistralai/Mistral-7B-Instruct-v0.3", allow_patterns=["params.json", "consolidated.safetensors", "tokenizer.model.v3"], local_dir=mistral_models_path)

如果想改为获取整个仓库，请使用标准的 Hugging Face 命令。

pip install -U huggingface_hub
hf download mistralai/Mistral-7B-Instruct-v0.3

如何使用：
装好 mistral_inference 之后，mistral-chat 命令会用你下载的文件夹里的模型打开一个聊天。如果你更喜欢 transformers，文本生成流水线接受一个消息列表并返回回复。

mistral-chat $HOME/mistral_models/7B-Instruct-v0.3 --instruct --max_tokens 256

from transformers import pipeline

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]
chatbot = pipeline("text-generation", model="mistralai/Mistral-7B-Instruct-v0.3")
chatbot(messages)

工具 | 作用
mistral-chat | 用下载好的模型打开命令行聊天
mistral_inference | 模型卡推荐用来运行模型的库
transformers pipeline | 从消息列表生成文本的第二种方式
snapshot_download | 获取模型卡列出的三个模型文件

示例：你描述一个名为 get_current_weather 的函数，带一个地点和一个温度单位，然后询问巴黎的天气。模型应该会回答一个对该函数的调用，并把城市填进去。

新手与专家：第一次尝试可以用 mistral-chat 命令问一个简短的问题，比如请它简要解释机器学习。函数调用放在那之后。

对懂行的人来说，模型卡推荐 mistral_inference，但也给出了 transformers 的代码片段。示例用 0.0 的温度和 64 的 token 上限来解码，下载会获取 params.json、consolidated.safetensors 和一个 tokenizer.model.v3 文件。函数以工具的形式传给请求，带有名称、描述和参数结构。通过 transformers 做函数调用需要 4.42.0 或更高版本。

下载三个模型文件
加载分词器和模型
编码你的聊天请求和任何工具
生成 token 并解码出回复

注意事项：

Title: 模型信息
项目 | 数值
参数量 | 7.2B
BF16 权重 | 约 14.5 GB
4 位权重 | 约 3.6 GB，估算值
词表 | 32768
格式 | Safetensors
基于 | Mistral-7B-v0.3

• 函数调用：你用名称、描述和参数来描述一个工具，模型可以用对它的调用来回答。
• 安装：模型卡推荐 mistral_inference，也给出了 transformers 的代码片段。
• 变体：Hugging Face 页面列出了许多别人制作的量化和微调版本。
• License: apache-2.0
• Cost to run: 没有提到 API 密钥或付费服务。你需要能运行 7.2B 模型的硬件。
• Data it reaches: 它从 Hugging Face 下载文件，示例在你自己的机器上运行模型。
• Not for: 没有提到。

Hugging Face 上的数据（2026年11月13日）

• 框架：vllm
• 参数量：7.2B
• Weights: about 14.5 GB in BF16; about 3.6 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,771,788
• 点赞：3,838
• 许可证：apache-2.0
• 基于：mistralai/Mistral-7B-v0.3
• Quantized versions: 315
• Fine-tunes: 530
• 标签：vllm, safetensors, mistral, mistral-common

链接

• 模型：https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.3
• 文件：https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.3/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download mistralai/Mistral-7B-Instruct-v0.3

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。