HEART

HEART

用一个超分辨率网络放大低分辨率图像，可以在一块消费级 GPU 上训练，并导出为 ONNX。适合训练或运行图像放大模型的人。

由 Phips 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：HEART 是 Phips 的一种超分辨率网络设计，属于作者的 BODY 系列。名字指的是带有秩分解偏置的混合注意力 Transformer。它把小图放大成大图，这些模型是用 traiNNer-redux 在一块 12 GB 的 RTX 3060 上训练的。

适合谁：适合训练或运行图像放大模型，并希望设计能干净导出为 ONNX 的人。已经熟悉训练工具包和命令行的人更合适。

行业 | 谁在用 | 怎么用 | 例子
图像修复 | 业余模型训练者 | 用自己的数据训练一个 4x 放大模型 | 从发布的 4x 预训练权重开始微调
照片和动画放大 | 爱好者 | 放大有噪点或被压缩的图片 | 说明页展示了动画和噪点图像的 4x 结果
机器学习研究 | 超分辨率研究者 | 比较用于放大的注意力设计 | 在 PSNR 和显存上对比 HEART 与 HAT_M

想要带按钮的成品应用的人可以跳过，因为这是一个要训练和转换的网络。

用在哪里：

• traiNNer-redux：发布的模型用它检验过的训练工具包。
• ONNX Runtime：导出的模型用它检验过的运行时。
• TensorRT 和其他运行时：预期可用，但作者没有测试。
• Windows、macOS 或 Linux：下载步骤在这三个系统上都能用 Python 完成。

使用场景 | 谁用 | 得到什么
训练放大模型 | 模型训练者 | 一个由 HEART 架构训练出的 4x 超分辨率模型
导出为 ONNX | 开发者 | 用官方转换器生成的动态 ONNX 文件
还原真实照片 | 爱好者 | 用 Real-ESRGAN 退化流程训练的模型放大的图片

如何设置：

先准备好：

• Python 和 pip。
• 一份 traiNNer-redux 的检出代码。
• 用于你自己训练的图像。
• 一块 GPU。作者用的是 12 GB 的 RTX 3060。

1. 用 hf 命令下载文件。
2. 把 heart_arch.py 复制到 traiNNer-redux 的 archs 文件夹。
3. 把一个训练配置复制到它的 options 文件夹。
4. 训练，然后用转换器导出为 ONNX。

pip install -U huggingface_hub
hf download Phips/HEART

# 1. Add the architecture (auto-registers: traiNNer scans *_arch.py)
cp heart_arch.py <traiNNer-redux>/traiNNer/archs/

# 2. Copy a training config and point it at your data
cp configs/4x_HEART_release.yml <traiNNer-redux>/options/

# 3. Train
cd <traiNNer-redux>
python train.py -opt options/4x_HEART_release.yml --auto_resume

# 4. Export to optimized dynamic ONNX (official converter)
cp configs/4x_HEART_onnx.yml <traiNNer-redux>/options/
python convert_to_onnx.py -opt options/4x_HEART_onnx.yml

如何使用：

用上面的配置训练，然后在 ONNX Runtime 里运行 ONNX 文件。lq_size 用 96。它必须能被 32 整除，32 就是窗口大小。想热启动的话，把训练配置里的 path.pretrain_network_g 设为发布的 4x 预训练权重 models/heart_4x_pretrain.safetensors。

Title: 说明页提到的文件和命令
工具 | 作用
heart_arch.py | HEART 网络，traiNNer-redux 会自动注册它
4x_HEART_release.yml | 4x 发布模型的训练配置
train.py | 按配置运行训练，支持自动续训
convert_to_onnx.py | 把训练好的模型导出为动态 ONNX

示例：

你把架构文件复制进 traiNNer-redux，用 lq_size 96 训练 4x 配置，再导出为 ONNX。然后你在 ONNX Runtime 里让一张有噪点的照片通过这个 ONNX 文件，得到四倍大小的图片。

新手与专家：

超分辨率就是把小图放大并变清晰。HEART 是这背后的网络设计，不是现成的应用。一个好的第一步是把架构文件复制进 traiNNer-redux，并从发布的 4x 预训练权重开始。

这个设计的注意力没有掩码，也没有位置偏置的查表。一个秩分解的偏置用点积取代了它们，这对 FlashAttention 和 SDPA 友好。一个 i-LN 层让 bf16 训练保持稳定。代码是一个纯 PyTorch 文件。代价是，要追求最高的基准 PSNR 或小型移动端模型时，作者建议改用 NERVE。

把 heart_arch.py 复制进 traiNNer-redux
把 lq_size 设为 96 来训练
用转换器导出动态 ONNX
在 ONNX Runtime 里运行该文件

注意事项：说明页在训练显存上比较了 HEART 和 HAT_M。HEART 的 PSNR 是 25.02 dB，HAT_M 是 25.05 dB，作者称这在噪声范围内。

Title: 训练显存
HEART: 1.44 GB
HAT_M: 2.84 GB

• 推理：在 bf16 下，它比 HAT_M 快约 1.2 倍，显存少约 2.7 倍。
• 测试过的运行时：只有 ONNX Runtime 得到了验证。
• License: apache-2.0
• Cost to run: 没有提到 API 密钥、账号或付费服务。
• Data it reaches: 你从 Hugging Face 下载的文件，以及你用来训练或放大的图像。
• Not for: 追求最高基准 PSNR 或小型移动端模型的场景，说明页建议用 NERVE。

Hugging Face 上的数据（2026年11月15日）

• 任务：image to image
• 框架：pytorch
• 最近 30 天下载：0
• 点赞：15
• 许可证：apache-2.0
• 语言：en
• Fine-tunes: 2
• 标签：pytorch, onnx, super-resolution, image-restoration, image-to-image, sisr, real-world-restoration, tensorrt, spandrel, chainner, transformer, attention

链接

• 模型：https://huggingface.co/Phips/HEART
• 文件：https://huggingface.co/Phips/HEART/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Phips/HEART

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。