Mistral-7B-Instruct-v0.1

Mistral-7B-Instruct-v0.1

Mistral 推出的 7B 指令微调聊天模型，基于 Mistral-7B-v0.1，用公开的对话数据集微调。适合想要一个能遵循提示词的小型开放模型的开发者。

由 mistralai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个模型以 Mistral-7B-v0.1 文本生成器为基础，用多个公开对话数据集微调，让它学会遵循指令。它有 7.2B 参数。模型卡把它说成一个快速的证明，表明基础模型很容易调好。它的设计采用分组查询注意力、滑动窗口注意力和字节回退 BPE 分词器。

适合谁：如果你想要一个小型开放聊天模型来测试提示词、做原型或进一步微调，它很适合开发者和研究人员。

行业 | 谁在用 | 怎么用 | 例子
软件 | 应用开发者 | 在开放的 7B 模型上做聊天助手原型 | 面向小产品的帮助机器人
研究 | NLP 研究人员 | 把它当作微调或比较的基线 | 比较一个调优变体和这个模型
教育 | 学生 | 学习指令格式和聊天模板怎么起作用 | 用指令标签搭一条提示词
数据工作 | 分析师 | 在本地起草或改写短文本 | 把一段简短的笔记改成更平实的语气

如果你需要当前的、对齐得很好的助手，可以跳过它，因为模型卡把这个版本定位为演示。

用在哪里：

• 使用 transformers 库的 Python 脚本
• 使用 mistral_inference 库的 Python 脚本
• Windows、macOS 和 Linux，模型卡的示例需要 GPU

用途 | 谁用 | 得到什么
聊天回复 | 开发者 | 对提示词的书面回答
提示词实验 | 研究人员 | 可以在不同设置间比较的输出
微调基础 | 开发者 | 自定义模型的起点

如何设置：

• Python，安装 transformers，以及用于模型卡分词器示例的 mistral_common
• 约 14.5 GB 磁盘空间存放 BF16 权重，估计 4-bit 约 3.6 GB
• GPU，因为模型卡的示例把模型移到 cuda
• 如果出现未知模型类型的错误，请使用较新的 transformers 版本，4.33.4 或更高

1. 安装 Hugging Face 工具。
2. 把模型文件下载到你的电脑。
3. 用 transformers 加载模型并发送提示词。

pip install -U huggingface_hub
hf download mistralai/Mistral-7B-Instruct-v0.1

如何使用：你把每条指令包在 INST 标签里，第一条以句首标记开头。最简单的办法是用 transformers 里的聊天模板，它会根据一列消息生成这种格式。模型卡也展示了 mistral_common 分词器。

from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from mistral_common.protocol.instruct.messages import UserMessage
from mistral_common.protocol.instruct.request import ChatCompletionRequest

mistral_models_path = "MISTRAL_MODELS_PATH"

tokenizer = MistralTokenizer.v1()

completion_request = ChatCompletionRequest(messages=[UserMessage(content="Explain Machine Learning to me in a nutshell.")])

tokens = tokenizer.encode_chat_completion(completion_request).tokens

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-Instruct-v0.1")
model.to("cuda")

generated_ids = model.generate(tokens, max_new_tokens=1000, do_sample=True)

# decode with mistral tokenizer
result = tokenizer.decode(generated_ids[0].tolist())
print(result)

text = "<s>[INST] What is your favourite condiment? [/INST]"

工具 | 作用
mistral_common | 用参考分词器把聊天请求编码成 token
mistral_inference | 从文件夹加载模型并生成 token
transformers | 加载模型，并用 generate 生成文本
apply_chat_template | 根据一列消息构建 INST 格式

示例：你像模型卡那样，请模型简要解释机器学习。脚本把请求编码，模型最多生成 1000 个新 token，脚本再把回复解码并打印出来。

新手与专家：这是一个期待特定提示词形式的小型聊天模型。第一次尝试时，可以用 transformers 代码运行模型卡里那个简要解释的问题。

如果你熟悉这个领域，模型卡指出 transformers 的分词器可能和 mistral_common 参考实现不完全一致，并欢迎大家来修正。模型使用分组查询注意力和滑动窗口注意力。第一条指令以句首 id 开头，助手的回复以句尾 id 结束。

把指令包进 INST 标签
把提示词编码成 token
模型生成新的 token
把 token 解码成文本

注意事项：

• 格式：第一条指令以句首 id 开头，后面的则不用。
• 分词器：transformers 的分词器可能与 mistral_common 参考实现不同。
• 排错：出现 mistral 的 KeyError 说明 transformers 版本较旧，换成 4.33.4 或更高版本即可解决。
• License: Apache 2.0。
• Cost to run: 未提及。
• Data it reaches: 它会从 Hugging Face 下载模型文件，并处理你提供的文本。
• Not for: 打磨成熟的生产助手，因为模型卡称它是一个快速演示。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：7.2B
• Weights: about 14.5 GB in BF16; about 3.6 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：105,736
• 点赞：1,878
• 许可证：apache-2.0
• 基于：mistralai/Mistral-7B-v0.1
• Quantized versions: 31
• Fine-tunes: 332
• 标签：transformers, pytorch, safetensors, mistral, text-generation, finetuned, mistral-common, conversational

链接

• 模型：https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.1
• 文件：https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.1/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download mistralai/Mistral-7B-Instruct-v0.1

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。