AMALIA-9B-0626-DPO

AMALIA-9B-0626-DPO

用欧洲葡萄牙语写作和回答，是葡萄牙高校推出的开源 9B 聊天模型，经监督微调和 DPO 调优。适合需要欧洲葡萄牙语语言模型的开发者和研究者。

由 amalia-llm 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：AMALIA 是一个面向欧洲葡萄牙语的开源语言模型。这个 DPO 版本有 9.2B 参数，在监督微调之后又做了偏好调优。它由葡萄牙的高校和研究机构共同构建，得到政府资助，目标是做到有效、自主可控且透明。

适合谁：它适合需要一个能很好处理欧洲葡萄牙语的语言模型、并且想了解它是怎么训练的开发者、研究者和机构。

Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 构建欧洲葡萄牙语的聊天或写作功能 | 给产品加一个葡萄牙语助手
公共部门 | 政府团队 | 使用本地可控的葡萄牙语模型 | 起草对市民问题的回复
研究 | NLP 研究者 | 研究一个国家语言模型及其训练数据 | 比较 SFT 版本和 DPO 版本
出版 | 作者和编辑 | 起草和修改欧洲葡萄牙语文本 | 把一段话改写成更正式的语气

如果你只用其他语言，或者需要最新的新闻，可以跳过它，因为它的知识有截止时间。

用在哪里：只要能加载 Safetensors 文本生成模型，它就能在你自己的电脑或服务器上运行。

• 能加载 Hugging Face 语言模型的 Python 工具
• 用来下载文件的 Windows、macOS 或 Linux 机器
• 为应用托管聊天模型的服务器

Use case | Who | What they get back
欧洲葡萄牙语聊天 | 开发者 | 葡萄牙语的对话式回答
遵循指令 | 产品团队 | 按清晰指令生成的回复
长上下文工作 | 研究者 | 支持最长 32k token 的输入

如何设置：你需要 Python，以及足够装下 9.2B 模型的内存，以 BF16 计约 18.3 GB。这里展示的模型卡部分除了下载之外没有给出运行步骤。

1. 安装 Hugging Face 的 hub 工具。
2. 下载模型文件。
3. 用能运行 Safetensors 语言模型的工具加载它们。

pip install -U huggingface_hub
hf download amalia-llm/AMALIA-9B-0626-DPO

如何使用：用欧洲葡萄牙语给模型写提示，并给出清晰的指令。这里展示的模型卡部分没有运行命令，具体的聊天格式请按 Hugging Face 上的模型卡来。

示例：你用欧洲葡萄牙语请模型用简单的话解释一个话题。它用葡萄牙语文本作答。模型卡描述了这种聊天用法，但没有展示示例输出。

新手与专家：这是一个为欧洲葡萄牙语而不是通用英语打造的聊天模型。第一次测试可以用葡萄牙语问一个简短的问题，然后读它的回答。

预训练在 EuroLLM 训练的基础上扩展，以覆盖更多欧洲葡萄牙语，最大序列长度为 32k token。先做 SFT，再用 DPO，所用的配对包含来自 SFT 模型的同策略回答。DPO 的目标是减少幻觉、有害内容和偏离指令。

用欧洲葡萄牙语数据预训练
做监督微调
用 DPO 做偏好调优
用葡萄牙语给模型写提示

注意事项：两个后训练阶段都用了 64 块 NVIDIA H100 GPU，模型卡给出了它们的运行时间。

Title: 64 块 H100 GPU 上每个阶段的训练时间
监督微调: 76 hours
DPO 偏好调优: 12 hours

• Data: 预训练用了 Arquivo.pt 的网络数据、EuroLLM 的预训练数据、来自 Stack-v2 的长上下文样本以及合成的长上下文数据。
• Datasets: SFT 和 DPO 数据集已发布。
• Knowledge cutoff: 2024 年 6 月。
• License: Apache 2.0。
• Cost to run: 未提及。
• Data it reaches: 你发送的文本，在你自己的机器上处理。
• Not for: 这里展示的模型卡部分没有列出排除项。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：9.2B
• Weights: about 18.3 GB in BF16; about 4.6 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,340
• 点赞：21
• 许可证：apache-2.0
• 语言：pt
• 基于：amalia-llm/AMALIA-9B-0626-SFT
• Quantized versions: 12
• 标签：safetensors, llama, text-generation, conversational

链接

• 模型：https://huggingface.co/amalia-llm/AMALIA-9B-0626-DPO
• 文件：https://huggingface.co/amalia-llm/AMALIA-9B-0626-DPO/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download amalia-llm/AMALIA-9B-0626-DPO

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。