Hy4-preview

Hy4-preview

用一个 770B 参数的混合专家模型生成文字、代码和文档，它激活 49B 个参数，支持最长 1M 的上下文。适合有硬件来托管超大开放权重的团队。

由 tencent 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Hy4 preview 是 Tencent Hy Team 的旗舰混合专家语言模型。模型卡给出的参数是总共 770B，每个 token 激活 49B，上下文长度为 1M。它面向软件工程、办公与分析工作，以及游戏开发。

适合谁：适合在自己的基础设施上运行超大开放权重模型的团队，他们想用它来做编程、文档工作或游戏原型。

行业 | 谁在用 | 怎么用 | 例子
软件 | 工程师 | 规划、调试并验证较长的开发任务 | 分很多步完成一个前端功能
办公 | 分析师和财务团队 | 把杂乱的文件变成文档、表格和幻灯片 | 用分散的文件搭建财务模型
游戏 | 游戏开发者 | 从一个提示词开始，分几轮完善原型 | 一个他们不断改进的可玩原型

没有数据中心级硬件的小团队可以跳过托管它，因为光是权重就非常大。

用在哪里：

• Hugging Face Transformers，也就是 Hugging Face 给它列出的库
• vLLM 和 SGLang，模型卡的目录把它们列为部署方式
• Windows、macOS 或 Linux，你可以用 Python 下载文件

用途 | 谁用 | 得到什么
软件工程 | 开发者 | 在规划、调试和检查长任务方面的帮助
办公与分析 | 分析师 | 由许多文件生成的文档、表格和演示文稿
游戏原型 | 游戏开发者 | 一个提示词生成的原型，可以分几轮完善

如何设置：

你需要先准备：

• Python
• huggingface_hub 包
• 放超大权重的存储空间和显存，BF16 格式约 1,560 GB，4-bit 约 390 GB（估算）

1. 安装 Hugging Face hub 包。
2. 把模型文件下载到你的电脑。
3. 要部署模型，请按模型卡里的 vLLM 或 SGLang 部署部分操作。

pip install -U huggingface_hub
hf download tencent/Hy4-preview

如何使用：下载文件，用 vLLM 或 SGLang 部署，然后发送编程、分析或游戏相关的提示词。这里的模型卡文字没有运行命令，所以请按它的 Quickstart 和 Deployment 部分查看具体调用。

示例：开发者可以给它一个描述小游戏的提示词，要求生成可玩的原型。模型卡说这个模型能配合游戏引擎使用，所以开发者之后可以分几轮继续完善项目。

新手与专家：Hy4 preview 是一个超大的语言模型，它的文件对普通电脑来说太大了。比较现实的第一步，是先读模型卡和它的 Quickstart，再决定要不要下载。

主干有 78 层。第一层用标准的稠密 FFN，其余 77 层是 MoE 层，有 256 个路由专家和 1 个共享专家，每个 token 使用前 8 个路由专家加上共享专家。内置一个原生 MTP 层，用于推测解码。注意力是带 IndexCache 的 Gated DeepSeek Sparse Attention，残差路径用的是 identity Hyper-Connections。模型卡的 770B 不含 MTP 层，Hugging Face 给这些文件列的是 780B。

输入一个提示词
路由器为每个 token 从 256 个专家里选 8 个
共享专家加上它的输出
模型写出回复

注意事项：

• 大小：Hugging Face 列出 780B 个参数，BF16 格式约 1,560 GB，4-bit 约 390 GB（估算）
• 版本：Hugging Face 列出了其他人做的 6 个量化版本和 2 个微调版本
• 部分：模型卡目录还列出了 Finetuning 和 Quantization，这里的文字没有包含它们

Title: Parameters in billions
Total backbone: 770 B
Activated per token: 49 B

Title: Weight size in GB
BF16: 1,560 GB
4-bit estimate: 390 GB

• License: apache-2.0
• Cost to run: 没有提到，不需要 API 密钥或账号
• Data it reaches: 它会从 Hugging Face 下载模型文件，模型卡文字没有提到其他服务或账号
• Not for: 小型机器，因为光是权重在 BF16 下就约 1,560 GB

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：780B
• Weights: about 1,560 GB in BF16; about 390 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：11,424
• 点赞：557
• 许可证：apache-2.0
• Quantized versions: 6
• Fine-tunes: 2
• 标签：transformers, safetensors, hy_v4, text-generation, hunyuan, hy4, conversational

链接

• 模型：https://huggingface.co/tencent/Hy4-preview
• 文件：https://huggingface.co/tencent/Hy4-preview/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download tencent/Hy4-preview

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。