Nanosaur2-670M
well9472 · 工具包
用一个 670M 参数的小型扩散模型,根据文字提示生成插画,在 ComfyUI 中运行。这是一个低预算的研究模型,适合想试用或训练自己 LoRA 的人。
根据文字描述,为任何形状的骨架生成动作,从动物、人形到有绑定的物体。适合动画研究人员和技术美术,采用非商业许可。
UniMate 是一款工具包,属于研究类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download Linzhan/UniMate
UniMate 能把文字提示词变成任意形状骨架的动作,无论是动物、人形还是有绑定的物体。它建立在流匹配之上。这个仓库提供它的预训练检查点。背后的论文题目是 One Unified Model to Animate Diverse Skeletons。
想把一段文字动作描述变成有绑定的角色或生物的动作的动画研究人员和技术美术。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 动画 | 技术美术 | 根据文字为有绑定的角色生成动作 | 让一只四足动物向前小跑 |
| 游戏 | 原型团队 | 在不同骨架上测试运动想法 | 让一只鹰或一条鲨鱼的资产动起来 |
| 研究 | 动作研究人员 | 用一个模型研究多种骨架类型 | 在同一个提示词上比较不同检查点 |
如果你需要商用,可以跳过它,因为许可证是非商业的。
| Use case | Who | What they get back |
|---|---|---|
| 文字生成动作 | 动画师 | 30 fps 下 60 帧的关节动作 |
| 让网格动起来 | 技术美术 | 每个动作对应一个 GLB 或 FBX |
| Mixamo 或 Truebones 骨架 | 研究人员 | 针对这些骨架集的专用检查点 |
pip install -U huggingface_hub hf download Linzhan/UniMate
在代码仓库的根目录下,先下载一个模型,用文字提示词为示例资产生成动作,再用这些动作驱动资产的网格。
hf download Linzhan/UniMate --repo-type model --local-dir outputs \
--include "unimate_uniml3d_f60_v3/*.json" --include "unimate_uniml3d_f60_v3/*.npy" \
--include "unimate_uniml3d_f60_v3/checkpoints/checkpoint_step_150000.pt"python -m unimate.inference.sample --exp_dir outputs/unimate_uniml3d_f60_v3 --asset assets/examples/unitree_go2 \
--prompt "An object trots forward." "An object rears up on its hind legs." --num_repetitions 3 \
--output_dir outputs/samples/custombash scripts/run_animate_motion.sh outputs/samples/custom
| Tool | What it does |
|---|---|
| unimate.inference.sample | 根据文字为资产生成动作 |
| scripts/run_animate_motion.sh | 用动作驱动每个资产的网格 |
| data_process.rig_preprocess | 给你自己的绑定文件标注关节 |
你对示例的四足资产运行采样命令,提示词是它向前小跑和它人立起来。每个提示词会得到三次重复,最后的脚本把每个动作变成网格文件。
如果你是新手,先在自带的示例资产上运行这三条命令。然后再通过预处理步骤试试你自己的绑定,它会停下来让你检查关节标签。
推荐的模型是一个 Transformer 去噪器,使用图注意力,并通过 AdaLN 做文本条件,用流匹配在 5 到 70 个关节的骨架上训练。文本来自冻结的 flan-t5-base 编码器,首次使用时下载。输出是每个关节的位置、相对 T-pose 的旋转和速度。
根据文字描述,为任何形状的骨架生成动作,从动物、人形到有绑定的物体。适合动画研究人员和技术美术,采用非商业许可。
由 Linzhan 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:UniMate 能把文字提示词变成任意形状骨架的动作,无论是动物、人形还是有绑定的物体。它建立在流匹配之上。这个仓库提供它的预训练检查点。背后的论文题目是 One Unified Model to Animate Diverse Skeletons。
适合谁:想把一段文字动作描述变成有绑定的角色或生物的动作的动画研究人员和技术美术。
Industry | Who uses it | How they use it | Example
动画 | 技术美术 | 根据文字为有绑定的角色生成动作 | 让一只四足动物向前小跑
游戏 | 原型团队 | 在不同骨架上测试运动想法 | 让一只鹰或一条鲨鱼的资产动起来
研究 | 动作研究人员 | 用一个模型研究多种骨架类型 | 在同一个提示词上比较不同检查点
如果你需要商用,可以跳过它,因为许可证是非商业的。
用在哪里:
Use case | Who | What they get back
文字生成动作 | 动画师 | 30 fps 下 60 帧的关节动作
让网格动起来 | 技术美术 | 每个动作对应一个 GLB 或 FBX
Mixamo 或 Truebones 骨架 | 研究人员 | 针对这些骨架集的专用检查点
如何设置:
pip install -U huggingface_hub
hf download Linzhan/UniMate
如何使用:在代码仓库的根目录下,先下载一个模型,用文字提示词为示例资产生成动作,再用这些动作驱动资产的网格。
hf download Linzhan/UniMate --repo-type model --local-dir outputs \
--include "unimate_uniml3d_f60_v3/*.json" --include "unimate_uniml3d_f60_v3/*.npy" \
--include "unimate_uniml3d_f60_v3/checkpoints/checkpoint_step_150000.pt"
python -m unimate.inference.sample --exp_dir outputs/unimate_uniml3d_f60_v3 --asset assets/examples/unitree_go2 \
--prompt "An object trots forward." "An object rears up on its hind legs." --num_repetitions 3 \
--output_dir outputs/samples/custom
bash scripts/run_animate_motion.sh outputs/samples/custom
Tool | What it does
unimate.inference.sample | 根据文字为资产生成动作
scripts/run_animate_motion.sh | 用动作驱动每个资产的网格
data_process.rig_preprocess | 给你自己的绑定文件标注关节
示例:你对示例的四足资产运行采样命令,提示词是它向前小跑和它人立起来。每个提示词会得到三次重复,最后的脚本把每个动作变成网格文件。
新手与专家:如果你是新手,先在自带的示例资产上运行这三条命令。然后再通过预处理步骤试试你自己的绑定,它会停下来让你检查关节标签。
推荐的模型是一个 Transformer 去噪器,使用图注意力,并通过 AdaLN 做文本条件,用流匹配在 5 到 70 个关节的骨架上训练。文本来自冻结的 flan-t5-base 编码器,首次使用时下载。输出是每个关节的位置、相对 T-pose 的旋转和速度。
输入文字提示词和骨架
flan-t5-base 对文字编码
去噪器运行流匹配
输出 60 帧关节动作
脚本驱动网格
注意事项:
Title: Denoiser parameters in millions
unimate_uniml3d_f60_v3: 74.1 百万
unimate_uniml3d_f60_v3_cross_attn: 66.2 百万
unimate_mixamo_f60_v2: 47.8 百万
unimate_truebones_f60_v2: 47.8 百万
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download Linzhan/UniMate
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| UniMate 本页 | 533 | 97 | — | cc-by-nc-4.0 | |
| Cola DLM共有 flow-matching · pytorch | 93 | 51 | — | apache-2.0 | |
| RFD4-Proteina共有 flow-matching | 14,235 | 45 | 436M | bsd-3-clause | |
| RFD4-Proteina-Diffusers共有 flow-matching | 403 | 5 | 178M | bsd-3-clause | |
| NLLB-200 3.3B共有 pytorch | 293,185 | 493 | — | cc-by-nc-4.0 | |
| Hy-Nomas共有 pytorch | 90,896 | 153 | — | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
well9472 · 工具包
用一个 670M 参数的小型扩散模型,根据文字提示生成插画,在 ComfyUI 中运行。这是一个低预算的研究模型,适合想试用或训练自己 LoRA 的人。
Waqf-AI · 工具包
读取图片中的阿拉伯语手写文字并以文本形式返回。这是微调过的 PaddleOCR-VL 模型,适合要把阿拉伯语手写内容数字化的人。
Wan-AI · 工具包
根据文本提示或图像加文字生成视频片段,最高 720P、每秒 24 帧,Diffusers 格式,适合单块消费级 GPU。
udiboy1209 · 工具包
用一个小型神经反编译器从编译后的二进制代码中还原数学公式,并提供论文里的数据集和训练好的模型。适合逆向工程师和研究者。
udgamlabs · 工具包
把文字提示,或文字加首帧图片,变成 2 秒、256×256 的视频片段,使用 212M 参数的生成器。这是一个小型研究版本,最擅长海浪、火焰和下雪的天空。
Tsuboyama-Lab · 工具包
预测一条蛋白质序列在大肠杆菌里能以单体形式表达多少,单位为 log10 mg/L。提供 ESMC-6B 和 SaProt 的已训练 LoRA 适配器和回归头,面向蛋白质研究人员。