Limite 1B - Violetto

Limite 1B - Violetto

用一个从头训练的 1B 参数模型解决难度很高的数学题，追求高速、大批量的推理。适合在 NVIDIA GPU 上运行数学任务的开发者。

由 paradigma-inc 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Limite 1B Violetto 是 Paradigma 的第一个模型，专为高速解决高难度数学题而做。它是一个稠密的 1B 参数 transformer，从头训练，用的是不到 300B 个精心挑选的词元，能处理长达 131k 词元的输入。预训练之后，又用了合成数据、精选的微调和强化学习。

适合谁：它适合需要小模型来解竞赛级数学题的开发者、研究人员和学生。它是为数学调教的，不是通用聊天模型。

Industry | Who uses it | How they use it | Example
教育 | 数学老师和学生 | 做竞赛风格的题目 | 检查一道竞赛题的解答
研究 | AI 研究人员 | 研究小模型如何取得强劲的数学成绩 | 在数学基准上和大得多的模型做对比
软件 | 数学工具开发者 | 在一块 GPU 上快速处理大量数学查询 | 在 API 后面运行一个数学解题器

想要一个日常写作通用助手的人可以跳过它。

用在哪里：

• 带 NVIDIA GPU 的 Linux x86-64，通过 vLLM 和 Limite 插件
• Python 配合 Transformers，已在 NVIDIA H100 上验证
• 数学解题服务和评测流水线

Use case | Who | What they get back
竞赛数学 | 学生和老师 | 一道难题的详细解答
大批量服务 | 开发者 | 一个小模型每秒给出许多数学答案
基准研究 | 研究人员 | 竞赛风格数学题集上的得分

如何设置：

• 一台 Linux x86-64 机器、一块 NVIDIA GPU，以及支持 CUDA 13.0 的驱动
• Python 3.12 和 uv 工具
• 卡片验证过的软件包版本：Transformers 5.6.2、PyTorch 2.11.0 和 vLLM 0.26.0
• 来自项目 GitHub 仓库的插件代码

1. 安装 Hugging Face hub 软件包。
2. 下载模型文件。
3. 从 GitHub 获取插件，然后在它的文件夹里用 locked 选项运行 uv sync。

pip install -U huggingface_hub

hf download paradigma-inc/limite-1b-violetto

cd limite-violetto
uv sync --locked

如何使用：在插件文件夹里，启用 Limite 插件来启动 vLLM 服务器。卡片推荐 temperature 为 0.6、top_p 为 0.95，除非你的请求另行指定，否则会自动加载这些值。张量并行和流水线并行的大小都保持为 1。

VLLM_PLUGINS=limite uv run --locked vllm serve paradigma-inc/limite-1b-violetto

另一条路是 Transformers。加载时需要把 trust_remote_code 设为 True，因为架构代码来自这个仓库。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "paradigma-inc/limite-1b-violetto"

tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    trust_remote_code=True,
)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    dtype="auto",
    device_map="cuda",
    attn_implementation="sdpa",
)

Tool | What it does
vllm serve | 带 Limite 插件，把模型作为服务器启动
uv sync --locked | 安装插件及其锁定的依赖
trust_remote_code | 让 Transformers 加载自定义的架构代码

示例：你问模型一道简短的代数题，比如当 x 加 3 等于 8 时求 x。你通过聊天模板发送，生成最多 256 个新词元。模型会回复一个解答。

新手与专家：这个模型是数学题的专家，而且小到一块 GPU 就能运行。第一步可以用 Transformers 示例问一道简单的题。别指望它在聊天上有同样的表现。

它的样本效率来自数据筛选，以及受社区预训练速通比赛启发的架构。卡片报告它在 BeyondAIME 上的平均分是 74.25%，对比 30B 的 MUSE-Glimmer 模型是 70%。一些对比得分来自其他来源，没有重新测过。

你发送一道数学题
聊天模板构建提示词
模型对题目进行推理
生成答案

注意事项：

• License: Apache 2.0。
• Cost to run: 未提及。你需要自己的 NVIDIA GPU。
• Data it reaches: 它在第一次使用时从 Hugging Face Hub 下载文件，然后在你的机器上运行。
• Not for: 未经测试的配置。卡片说其他版本和硬件组合还没有正式验证。

Title: BeyondAIME 平均得分
Limite 1B Violetto: 74.25 percent
MUSE-Glimmer-30B: 70 percent

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：1B
• Weights: about 2.1 GB in BF16; about 518 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：3,985
• 点赞：145
• 许可证：apache-2.0
• Quantized versions: 10
• Fine-tunes: 3
• 标签：safetensors, limite, mathematics, reasoning, vllm, text-generation, conversational

链接

• 模型：https://huggingface.co/paradigma-inc/limite-1b-violetto
• 文件：https://huggingface.co/paradigma-inc/limite-1b-violetto/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download paradigma-inc/limite-1b-violetto

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。