Hy-MT2-1.8B-1.25Bit-GGUF

Hy-MT2-1.8B-1.25Bit-GGUF

在你自己的设备上用压缩到 1.25 比特的 1.8B 模型进行 33 种语言之间的翻译，GGUF 文件约 440 MB，适用于 llama.cpp。适合给应用加入离线翻译的开发者。

由 tencent 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Hy-MT2-1.8B 的 1.25 比特 GGUF 版本，Hy-MT2-1.8B 是腾讯的翻译模型，覆盖 33 种语言。量化由 AngelSlim 完成。模型卡说它把模型缩小到 440 MB，并把推理速度提高到 1.5 倍，所以很适合在设备端使用。

适合谁：它适合想在本地运行翻译、在应用里或小型机器上、不需要把文字发给服务器的开发者。

行业 | 谁在用 | 怎么用 | 例子
应用 | 移动端和桌面端开发者 | 给应用加入离线翻译 | 在设备上翻译一条聊天消息
本地化 | 本地化团队 | 在支持的语言之间起草译文 | 把一个产品字符串翻成另一种语言
边缘设备 | 嵌入式开发者 | 在存储紧张的地方运行翻译 | 装下一个约 440 MB 的模型
研究 | 翻译研究人员 | 对比同一个模型的不同量化级别 | 在 1.25 比特、2 比特和完整文件之间做选择

如果你想要更大的模型，可以跳过这个，因为这个系列还有 7B 和 30B-A3B 的尺寸。

用在哪里：

• llama.cpp，模型卡为它的 GGUF 版本点名了这个
• Windows、macOS 或 Linux，下载文件时需要 Python
• 腾讯的 Hy-MT2-Translator 技能，模型卡提供它，用来把这些模型接入翻译任务

用例 | 谁用 | 得到什么
设备端翻译 | 应用开发者 | 不用调用服务器就能得到的译文
按指令翻译 | 用户 | 遵循多种语言所写指令的译文
量化对比 | 研究人员 | 一个很小的版本，可以和 2 比特及完整版本对照

如何设置：

• Python 和 Hugging Face 的 hub 包，用来下载文件
• llama.cpp，按它自己的说明安装
• 模型需要约 440 MB 的空间

1. 安装 Hugging Face 的 hub 包。
2. 用下面的命令下载模型文件。
3. 安装 llama.cpp。
4. 让 llama.cpp 指向下载好的 GGUF 文件，并给它一个翻译请求。

pip install -U huggingface_hub
hf download tencent/Hy-MT2-1.8B-1.25Bit-GGUF

如何使用：模型卡没有给出这个版本的运行命令。你在 llama.cpp 里加载 GGUF 文件，然后请求翻译并写明目标语言。模型卡说这个模型能遵循用多种语言写的翻译指令。

Title: Hy-MT2 系列的各个版本
模型 | 说明
Hy-MT2-1.8B | 完整形式的 1.8B 翻译模型
Hy-MT2-1.8B-FP8 | 用 FP8 量化的 1.8B 模型
Hy-MT2-1.8B-GGUF | 适用于 llama.cpp 的 GGUF 文件形式的 1.8B 模型
Hy-MT2-1.8B-2bit-GGUF | 2 比特 GGUF 文件形式的 1.8B 模型
Hy-MT2-1.8B-1.25bit-GGUF | 1.25 比特 GGUF 文件形式的 1.8B 模型
Hy-MT2-7B | 7B 翻译模型
Hy-MT2-7B-FP8 | 用 FP8 量化的 7B 模型
Hy-MT2-7B-GGUF | 适用于 llama.cpp 的 GGUF 文件形式的 7B 模型
Hy-MT2-30B-A3B | 30B-A3B 翻译模型
Hy-MT2-30B-A3B-FP8 | 用 FP8 量化的 30B-A3B 模型

示例：你给模型一句简短的英语，请它翻成 33 种语言里的另一种，指令用你喜欢的语言写。一句译文就会返回。这里显示的模型卡文字没有给出示例输出。

新手与专家：GGUF 是一种文件格式，llama.cpp 可以在普通电脑上运行它。1.25 比特的文件被压得很厉害，所以体积小、速度快。第一次可以先试一句短句，再请一位懂两种语言的人核对。

Hy-MT2 系列有 1.8B、7B 和 30B-A3B 三种尺寸，都是为快速给出译文而做的。这个版本是通过 AngelSlim 量化从 1.8B 模型得来的。模型卡说完整的 1.8B 模型整体上胜过主流的商业翻译 API，但没有给出这个 1.25 比特文件的分数。

文本和翻译指令
llama.cpp 里的 1.25 比特 1.8B 模型
输出译文

注意事项：

• 把权重压到 1.25 比特通常会损失一些质量，而可见的模型卡没有给出这个版本的分数。
• 这次发布还包括 IFMTBench，它是用来衡量模型遵循翻译指令能力的基准。
• 440 MB 和 1.5 倍这两个数字来自模型卡，它们描述的是 1.25 比特版本。
• License: Apache 2.0
• Cost to run: 未提到
• Data it reaches: 除了你给它的文字外未提到其他内容
• Not for: 未提到

Hugging Face 上的数据（2026年11月13日）

• 参数量：1.8B
• Weights: about 896 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：11,029
• 点赞：50
• 许可证：apache-2.0
• 基于：tencent/Hy-MT2-1.8B
• 标签：gguf, conversational

链接

• 模型：https://huggingface.co/tencent/Hy-MT2-1.8B-1.25Bit-GGUF
• 文件：https://huggingface.co/tencent/Hy-MT2-1.8B-1.25Bit-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download tencent/Hy-MT2-1.8B-1.25Bit-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。