Nanosaur2-670M
well9472 · 工具包
用一个 670M 参数的小型扩散模型,根据文字提示生成插画,在 ComfyUI 中运行。这是一个低预算的研究模型,适合想试用或训练自己 LoRA 的人。
用 4B 参数的扩散模型只需 8 步就能生成音乐和其他音频,通过 Gradio 界面在本地运行。适合有 12 GB 以上显存 GPU 的创作者和开发者。
ACE-Step 1.5 XL Turbo 是一款工具包,属于效率类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
cd ACE-Step-1.5 pip install -e . huggingface-cli download ACE-Step/acestep-v15-xl-turbo --local-dir ./checkpoints/acestep-v15-xl-turbo
ACE-Step 1.5 XL Turbo 是 ACE-Step 1.5 音乐生成系列中 4B 参数 XL 模型的快速蒸馏版本。它用 8 个推理步骤生成音频,不使用无分类器引导。ACE Studio 和 StepFun 共同主导这个项目,权重以 MIT 许可证发布。
如果你是想用自己的 GPU 生成音乐、而不是调用托管服务的创作者或开发者,它就适合你。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 音乐制作 | 独立音乐人 | 在本地生成草稿曲目来探索想法 | 在录制正式版本之前先试几个短小的想法 |
| 游戏开发 | 小型工作室 | 用自己的硬件制作背景音乐 | 为原型关卡生成临时曲目 |
| 视频和媒体 | 内容创作者 | 为片段制作配乐 | 为一段短视频生成伴奏 |
| 研究 | 音频 AI 研究人员 | 研究用于音乐的蒸馏扩散 transformer | 把 8 步的 turbo 模型与 50 步的模型做对比 |
如果你的 GPU 显存不足 12 GB,或者想用 extract、lego 和 complete 这些任务(模型卡只在基础模型下列出),可以跳过它。
| 用例 | 谁 | 得到什么 |
|---|---|---|
| 音乐草稿 | 音乐人 | 用 8 步生成的音频 |
| 背景音乐 | 游戏和视频创作者 | 在你自己的机器上制作的音频曲目 |
| 模型对比 | 研究人员 | turbo 模型的输出,可与 base 和 SFT 对比 |
你需要先准备:
cd ACE-Step-1.5 pip install -e . huggingface-cli download ACE-Step/acestep-v15-xl-turbo --local-dir ./checkpoints/acestep-v15-xl-turbo python acestep --config-path acestep-v15-xl-turbo
你用上面最后一条命令启动 Gradio 界面,然后在浏览器里用它生成音频。这里的文字没有描述界面里的输入项。
| 工具 | 作用 |
|---|---|
| acestep-v15-xl-turbo | 这个仓库:8 步,无引导,标准任务 |
| acestep-v15-xl-base | 50 步带引导,支持包括 extract、lego 和 complete 在内的所有任务 |
| acestep-v15-xl-sft | 50 步带引导,质量很高,多样性中等,标准任务 |
| acestep-5Hz-lm-0.6B | 较小的语言模型,音频理解和作曲能力中等 |
| acestep-5Hz-lm-1.7B | 中等大小的语言模型,包含在主发布中 |
| acestep-5Hz-lm-4B | 最大的语言模型,音频理解和作曲能力强 |
你用 turbo 配置启动界面,生成一小段音乐。模型 8 步完成,给你一个音频文件。模型卡没有展示示例提示词,所以请自己试试界面来了解它的输入。
ACE-Step 按你的指示在你自己的电脑上生成音乐。可以先在至少 12 GB 显存的 GPU 上照着四个安装步骤做,再在浏览器里生成一小段音乐。
对熟悉这个领域的读者来说,解码器是一个扩散 transformer,有 32 层、2560 隐藏维度和 32 个注意力头,另有一个 8 层的编码器。蒸馏去掉了对引导的需求,所以 8 步取代了 50 步,代价是多样性有所下降。0.6B、1.7B 和 4B 的语言模型都能配合 XL 解码器使用。
用 4B 参数的扩散模型只需 8 步就能生成音乐和其他音频,通过 Gradio 界面在本地运行。适合有 12 GB 以上显存 GPU 的创作者和开发者。
由 ACE-Step 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:ACE-Step 1.5 XL Turbo 是 ACE-Step 1.5 音乐生成系列中 4B 参数 XL 模型的快速蒸馏版本。它用 8 个推理步骤生成音频,不使用无分类器引导。ACE Studio 和 StepFun 共同主导这个项目,权重以 MIT 许可证发布。
适合谁:如果你是想用自己的 GPU 生成音乐、而不是调用托管服务的创作者或开发者,它就适合你。
行业 | 谁在用 | 怎么用 | 例子
音乐制作 | 独立音乐人 | 在本地生成草稿曲目来探索想法 | 在录制正式版本之前先试几个短小的想法
游戏开发 | 小型工作室 | 用自己的硬件制作背景音乐 | 为原型关卡生成临时曲目
视频和媒体 | 内容创作者 | 为片段制作配乐 | 为一段短视频生成伴奏
研究 | 音频 AI 研究人员 | 研究用于音乐的蒸馏扩散 transformer | 把 8 步的 turbo 模型与 50 步的模型做对比
如果你的 GPU 显存不足 12 GB,或者想用 extract、lego 和 complete 这些任务(模型卡只在基础模型下列出),可以跳过它。
用在哪里:
用例 | 谁 | 得到什么
音乐草稿 | 音乐人 | 用 8 步生成的音频
背景音乐 | 游戏和视频创作者 | 在你自己的机器上制作的音频曲目
模型对比 | 研究人员 | turbo 模型的输出,可与 base 和 SFT 对比
如何设置:
你需要先准备:
cd ACE-Step-1.5
pip install -e .
huggingface-cli download ACE-Step/acestep-v15-xl-turbo --local-dir ./checkpoints/acestep-v15-xl-turbo
python acestep --config-path acestep-v15-xl-turbo
如何使用:你用上面最后一条命令启动 Gradio 界面,然后在浏览器里用它生成音频。这里的文字没有描述界面里的输入项。
工具 | 作用
acestep-v15-xl-turbo | 这个仓库:8 步,无引导,标准任务
acestep-v15-xl-base | 50 步带引导,支持包括 extract、lego 和 complete 在内的所有任务
acestep-v15-xl-sft | 50 步带引导,质量很高,多样性中等,标准任务
acestep-5Hz-lm-0.6B | 较小的语言模型,音频理解和作曲能力中等
acestep-5Hz-lm-1.7B | 中等大小的语言模型,包含在主发布中
acestep-5Hz-lm-4B | 最大的语言模型,音频理解和作曲能力强
示例:你用 turbo 配置启动界面,生成一小段音乐。模型 8 步完成,给你一个音频文件。模型卡没有展示示例提示词,所以请自己试试界面来了解它的输入。
新手与专家:ACE-Step 按你的指示在你自己的电脑上生成音乐。可以先在至少 12 GB 显存的 GPU 上照着四个安装步骤做,再在浏览器里生成一小段音乐。
对熟悉这个领域的读者来说,解码器是一个扩散 transformer,有 32 层、2560 隐藏维度和 32 个注意力头,另有一个 8 层的编码器。蒸馏去掉了对引导的需求,所以 8 步取代了 50 步,代价是多样性有所下降。0.6B、1.7B 和 4B 的语言模型都能配合 XL 解码器使用。
安装 ACE-Step 和检查点
启动 Gradio 界面
给出你的音乐指示
运行 8 个蒸馏扩散步骤
得到生成的音频
注意事项:
Title: 各模型的推理步数
acestep-v15-xl-turbo: 8 steps
acestep-v15-xl-base: 50 steps
acestep-v15-xl-sft: 50 steps
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download ACE-Step/acestep-v15-xl-turbo
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| ACE-Step 1.5 XL Turbo 本页 | 9,152 | 235 | 5B | mit | |
| SheetSage2共有 music · feature-extraction · audio | 16,575 | 185 | 57.2M | cc-by-nc-4.0 | |
| Ming-3.0-audio-tiny共有 feature-extraction · audio · transformers | 5,202 | 62 | 8.9B | mit | |
| whisper-large-v3共有 audio · transformers · safetensors | 3,489,398 | 6,802 | 1.5B | apache-2.0 | |
| MOSS-Transcribe-Diarize共有 audio · transformers · safetensors | 121,031 | 520 | 909M | apache-2.0 | |
| MOSS-Transcribe-Diarize 0.9B共有 audio · transformers · safetensors | 759 | 5 | 909M | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
well9472 · 工具包
用一个 670M 参数的小型扩散模型,根据文字提示生成插画,在 ComfyUI 中运行。这是一个低预算的研究模型,适合想试用或训练自己 LoRA 的人。
Waqf-AI · 工具包
读取图片中的阿拉伯语手写文字并以文本形式返回。这是微调过的 PaddleOCR-VL 模型,适合要把阿拉伯语手写内容数字化的人。
Wan-AI · 工具包
根据文本提示或图像加文字生成视频片段,最高 720P、每秒 24 帧,Diffusers 格式,适合单块消费级 GPU。
Wan-AI · 工具包
用小型的 1.3B Wan2.1 模型根据文字提示词生成短的 480P 视频,已打包成 diffusers 库可用的形式。在约 8.19 GB 显存的消费级显卡上就能运行。
serendipitylabs · 工具包
在 CPU 或 CUDA GPU 上把马拉雅拉姆语语音转成文字,是 Serendipity Labs 的早期研究版本。适合想为简短清晰的录音生成转写草稿的人。
OrdenWills · 工具包
把“关掉电视”这样的日常家居指令变成结构化的工具调用,并先检查设备状态。这是一个 3.5 亿参数的模型,适合智能家居开发者和爱好者。