VulnLLM-R-7B-8bit

VulnLLM-R-7B-8bit

通过 mlx-lm 运行 VulnLLM-R-7B 的 8 位 MLX 版本，用于文本生成。适合想在本地试用该模型的开发者。模型卡没有说明它的训练用途。

由 mlx-community 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 VulnLLM-R-7B 的 8 位 MLX 格式副本，由 mlx-community 团队用 mlx-lm 0.30.0 版本制作。它是约 7.6B 参数的文本生成模型，基于 UCSB-SURFI/VulnLLM-R-7B。模型卡没有说明原模型的训练用途，所以在依赖它之前，请先读原模型的页面。

适合谁：它适合通过 MLX 在本地运行语言模型、并想试用这一个的开发者。需要有据可查的基准数据或明确用途的人，请另找他物。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 通过 mlx-lm 在本地运行量化副本 | 发送一条测试提示词并阅读回复
研究 | 机器学习研究人员 | 把 8 位副本与原模型对比 | 同时加载两者并比较它们的回答
安全 | 安全工程师 | 因为模型卡没有给出用途，自己判断它是否适合他们的审查工作 | 试一小段代码，再评判回答

如果你想要一个无需 Python 的现成聊天应用，可以跳过它。

用在哪里：只要 mlx-lm 软件包能安装，你就可以在 Python 里运行它。

• 一个 Python 脚本，使用模型卡提供的代码
• Windows、macOS 或 Linux，用来下载文件
• Hugging Face，模型文件托管在这里

Use case | Who | What they get back
在本地试用模型 | 开发者 | 一个短脚本打印出的生成回复
与原模型对比 | 机器学习研究人员 | 8 位模型与原模型并排的回答
在代码问题上测试 | 安全工程师 | 可以按自己需求评判的回复

如何设置：安装只需要一个软件包和一个短脚本。

• Python
• mlx-lm 软件包

1. 安装 mlx-lm 软件包。
2. 也可以先用 Hugging Face hub 工具自己下载模型文件。
3. 把下面的 Python 代码保存成文件并运行。

pip install mlx-lm

pip install -U huggingface_hub
hf download mlx-community/VulnLLM-R-7B-8bit

如何使用：运行下面的脚本。它会加载模型，在分词器带有聊天格式时把你的提示词包进去，然后打印生成的回复。

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/VulnLLM-R-7B-8bit")

prompt = "hello"

if tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True, return_dict=False,
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)

Tool | What it does
load | 按名称加载模型及其分词器
apply_chat_template | 分词器带有聊天格式时，把你的消息包进去
generate | 根据提示词生成回复并打印出来

示例：你发送提示词 "hello"，和模型卡里的脚本一样。分词器把它变成一条聊天消息，模型写出回复，脚本把它打印出来。换成你自己的问题，看看模型怎么回答。

新手与专家：如果你是新手，先安装 mlx-lm，原样运行脚本，再读一读 "hello" 的回复。这一次运行就展示了加载、提示和生成的完整过程。

如果你熟悉这个领域，这是一个 7.6B 模型的量化 MLX 转换版。模型卡没有给出与原模型的对比，所以在正式使用之前，请自己做检查。

Hugging Face 上的模型文件
mlx-lm 加载模型和分词器
聊天格式包装你的提示词
generate 写出回复

注意事项：记录里列出的权重约为 30.5 GB，格式为 U32，语言为英文。

• License: Apache-2.0
• Cost to run: 没有提到
• Data it reaches: 模型卡里的代码除了下载模型之外，没有提到账号、文件或网络服务

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：mlx
• 参数量：7.6B
• Weights: about 30.5 GB in U32
• Formats: Safetensors
• 最近 30 天下载：148
• 点赞：4
• 许可证：apache-2.0
• 语言：en
• 基于：UCSB-SURFI/VulnLLM-R-7B
• 标签：safetensors, qwen2, security, vulnerability-detection, code-analysis, reasoning, text-generation, conversational, code, 8-bit

链接

• 模型：https://huggingface.co/mlx-community/VulnLLM-R-7B-8bit
• 文件：https://huggingface.co/mlx-community/VulnLLM-R-7B-8bit/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download mlx-community/VulnLLM-R-7B-8bit

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。