SMaLL-100

SMaLL-100

在很长的语言列表之间翻译文本，覆盖超过 10K 个语言对，模型比 M2M-100 小得多、快得多。适合需要紧凑多语言翻译的开发者和研究者。

由 alirezamsh 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：SMaLL-100 是一个紧凑的机器翻译模型，覆盖超过 10K 个语言对。模型卡说，它的效果与 M2M-100 相当，同时小得多、快得多。它由一篇 EMNLP 2022 的论文提出，使用与 M2M-100 相同的架构和配置。

适合谁：它适合想要一个能处理多种语言（包括低资源语言）的小型翻译模型的开发者、本地化团队和研究者。

Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 给产品加上本地或自托管的翻译 | 把用户消息从印地语翻译成法语
本地化 | 翻译团队 | 在许多语言对之间起草译文 | 把中文文本转换成英文
研究 | 机器翻译研究者 | 研究面向低资源语言的浅层模型 | 与 M2M-100 比较分数
教育 | 语言学习者和教师 | 查看语言之间的快速翻译 | 核对另一种语言的句子

如果你需要带版式的整篇文档翻译，或者需要托管服务，可以跳过它。

用在哪里：它通过 transformers 库在你自己的电脑上用 Python 运行。

• 使用 transformers 的 Python 脚本
• Windows、macOS 或 Linux
• 用原始仓库计算 spBLEU 的研究环境

Use case | Who | What they get back
翻译一个句子 | 开发者 | 目标语言的文本
监督训练 | 研究者 | 由一对源文本和目标文本得到的损失值
低资源翻译 | 语言团队 | 大模型覆盖不好的语言的译文

如何设置：你需要带 transformers 和 sentencepiece 包的 Python。分词器经过修改，所以模型卡说要从仓库里的 tokenization_small100.py 文件在本地加载它。

1. 安装 Hugging Face 的 hub 工具。
2. 下载模型文件，其中包含分词器文件。
3. 安装 sentencepiece。
4. 从那个本地文件导入 SMALL100Tokenizer。

pip install -U huggingface_hub
hf download alirezamsh/small100

pip install sentencepiece

如何使用：你在分词器上设置目标语言代码，编码文本，生成，再解码。模型卡生成时使用的束宽为 5，最大目标长度为 256。

from tokenization_small100 import SMALL100Tokenizer

hi_text = "जीवन एक चॉकलेट बॉक्स की तरह है।"
chinese_text = "生活就像一盒巧克力。"

tokenizer = SMALL100Tokenizer.from_pretrained("alirezamsh/small100")

# translate Hindi to French
tokenizer.tgt_lang = "fr"
encoded_hi = tokenizer(hi_text, return_tensors="pt")
generated_tokens = model.generate(**encoded_hi)
tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)

先在 它的密钥设置 里填上你自己的值。

Tool | What it does
tokenizer.tgt_lang | 设置目标语言代码，比如 fr 或 en
model.generate | 生成翻译后的 token
tokenizer.batch_decode | 把 token 转回文本
hf download | 把模型文件下载到你的电脑

示例：你拿“生活就像一盒巧克力”这句中文，把目标语言设为 en，然后运行 generate。模型卡展示的英文结果是 "Life is like a box of chocolate."。同一句话的印地语版本也用同样的方式翻成法语。

新手与专家：翻译模型读一种语言的文本，再用另一种语言写出来。想试一试，就运行上面印地语到法语的例子，然后改一下语言代码。

这个网络采用 M2M-100 的设计，只有分词器被改成能处理语言代码。输入是目标语言代码，然后是源 token 和一个结束 token。监督训练输入源文本和目标文本，返回一个损失值。

设置目标语言代码
对源文本分词
用束宽 5 生成
把 token 解码成译文

注意事项：语言列表从南非荷兰语和阿姆哈拉语一直到约鲁巴语和祖鲁语，带有 fr、en、zh、hi 这样的代码。

• Tokenizer: 目前必须从本地的 tokenization_small100.py 文件加载。
• Evaluation: spBLEU 用原始仓库计算。
• Training data: 模型卡说可以应要求提供。
• License: MIT。
• Cost to run: 未提及。
• Data it reaches: 你要翻译的文本，在你自己的机器上处理。
• Not for: 模型卡没有列出排除项。

Hugging Face 上的数据（2026年11月13日）

• 任务：translation
• 框架：transformers
• 参数量：333M
• Weights: about 1.3 GB in F32; about 166 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：10,902
• 点赞：113
• 许可证：mit
• 语言：af, am, ar, ast, az, ba, be, bg
• Quantized versions: 4
• Fine-tunes: 4
• 标签：transformers, pytorch, onnx, safetensors, m2m_100, text2text-generation, small100, translation, flores101, tico19, tatoeba, multilingual

链接

• 模型：https://huggingface.co/alirezamsh/small100
• 文件：https://huggingface.co/alirezamsh/small100/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download alirezamsh/small100

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。