mai_replier-9b-v3

mai_replier-9b-v3

在中文 QQ 群聊里扮演一个角色：读取聊天记录，写出一句简短随意的回复，不显示推理过程。这是 Qwen3.5-9B 的合并 9B 微调模型，也能读取聊天里的图片。

由 tcmofashi 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：mai_replier-9b-v3 是 MaiBot 生态里的回复器模型，这类机器人会以固定角色加入 QQ 群聊。它读取群聊记录，以角色身份写出一句简短随意的回复，没有思维链。它是用 LoRA 从 Qwen3.5-9B 微调并合并的完整 9B 模型，可以读取聊天中内嵌的图片。

适合谁：想在中文群聊里运行 MaiBot 式聊天机器人、并希望自己托管一个以角色身份回复的模型的人。

Industry | Who uses it | How they use it | Example
社群 | 群管理员 | 在 QQ 群里运行一个角色机器人 | 一个和群成员聊天的角色
软件 | 机器人开发者 | 在 MaiBot 后面自己托管回复器 | 用 vLLM 为机器人提供服务
研究 | 对话研究人员 | 研究按角色设定生成的群聊回复 | 测试它如何处理聊天里的图片

如果你想要通用助手或英文聊天模型，可以跳过它。

用在哪里：

• QQ 群聊，通过 MaiBot 生态
• 你自己的电脑，在 Windows、macOS 或 Linux 上用 Python 和 transformers
• vLLM 服务器，用于托管在机器人后面

Use case | Who | What they get back
角色回复 | 机器人开发者 | 一句简短随意的角色台词
带图片的聊天 | 群管理员 | 会考虑内嵌图片的回复
自托管服务 | 平台团队 | 供机器人调用的端点

如何设置：

• 带 pip 的 Python
• BF16 权重约 18.8 GB 磁盘空间，4-bit 约 4.7 GB（估算值）
• 显存足够的 GPU，因为模型卡的代码用了 device_map auto

1. 安装 Hugging Face hub 工具。
2. 下载模型文件。
3. 用 transformers 加载，或者启动 vLLM 服务器。

pip install -U huggingface_hub
hf download tcmofashi/mai_replier-9b-v3

如何使用：构造两条消息。system 消息写角色的名字和人设。user 消息写聊天记录行，以及最后请角色回复的提示。始终把 enable_thinking 传为 False。采样设置写在下面的 generate 调用里。

from transformers import AutoModelForImageTextToText, AutoProcessor
import torch

MODEL = "tcmofashi/mai_replier_9b_v3"

processor = AutoProcessor.from_pretrained(MODEL)
model = AutoModelForImageTextToText.from_pretrained(MODEL, dtype=torch.bfloat16, device_map="auto")

messages = [
    {"role": "system", "content": "你的名字是小千。是一个大二在读女大学生…"},
    {"role": "user", "content": "你正在qq群里聊天…\n现在，你说："},
]

text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True,
    chat_template_kwargs={"enable_thinking": False},
)
inputs = processor(text=text, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=256, temperature=0.7, top_p=0.95,
                     repetition_penalty=1.15, do_sample=True, eos_token_id=[248046, 248044])
print(processor.tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

要用 vLLM 提供服务，模型卡给出了这条命令。

vllm serve tcmofashi/mai_replier_9b_v3 \
    --served-model-name mai_replier_9b_v3 \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.90 \
    --port 8200

示例：你给模型一个人设和一小段聊天记录，其中有人向这个角色提了问题。它返回一句以该角色口吻说的随意的话。这是对模型卡所述输入输出的示意。

新手与专家：如果你是新手，要知道这个模型只为一件事设计，就是在聊天里以角色身份回复。先复制模型卡的代码，再改人设文字。

如果你是专家，模型卡列出 Qwen3.5-9B，有 24 层线性注意力 GDN 和 8 层完整注意力，LoRA SFT 的 r 为 64、alpha 为 32，并合并成完整权重。图片按它们在文字中出现的位置嵌入。最近 3 张保留 640 的长边，更早的缩到 128。

聊天记录变成 system 和 user 消息
图片按其在文字中的位置嵌入
模型跳过推理直接回复
输出一句简短的角色台词

注意事项：模型卡称这是用于 QQ 群角色扮演的社区实验。

• License: Apache 2.0，与 Hugging Face 记录一致。
• Cost to run: 没有提到 API 密钥或账号。你需要能跑 9B 模型的 GPU。
• Data it reaches: 下载会访问 Hugging Face。模型只读取你传入的聊天文字和图片。
• Not for: 替真人发言。模型卡说输出不代表任何真实人物的观点，它的提示词也要求模型避开违法、涉性、暴力和政治内容。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：9.4B
• Weights: about 18.8 GB in BF16; about 4.7 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：660
• 点赞：8
• 许可证：apache-2.0
• 语言：zh
• 基于：Qwen/Qwen3.5-9B
• Quantized versions: 3
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, text-generation, chatbot, qq-group-chat, roleplay, chinese, retro-replyer, multimodal, interleaved-image

链接

• 模型：https://huggingface.co/tcmofashi/mai_replier-9b-v3
• 文件：https://huggingface.co/tcmofashi/mai_replier-9b-v3/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download tcmofashi/mai_replier-9b-v3

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。