Nanosaur2-670M
well9472 · 工具包
用一个 670M 参数的小型扩散模型,根据文字提示生成插画,在 ComfyUI 中运行。这是一个低预算的研究模型,适合想试用或训练自己 LoRA 的人。
在标准 GPU 上不到一秒就能把一张照片变成 3D 高斯场景,可对邻近视角实时渲染。适合研究人员和图形开发者。
Sharp 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install huggingface-hub huggingface-cli download --include sharp_2572gikvuh.pt --local-dir . apple/Sharp
Sharp 是 Apple 的一个研究模型,能从一张照片构建 3D 场景。让网络前向跑一遍,就能预测出一组 3D 高斯,在标准 GPU 上不到一秒。然后你可以从邻近的相机位置实时渲染这个场景。
想从一张图快速得到 3D 视角的研究人员和图形开发者。场景有绝对尺度,所以按真实尺寸移动相机是有意义的。许可证是 apple-amlr,使用前请先阅读其条款。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 图形研究 | 研究人员 | 研究单张图像的视角合成,并拿它做对比 | 在一组照片上运行它,查看高斯输出 |
| XR 和 AR | 原型开发者 | 把照片变成可以环顾的场景 | 在拍摄的房间里稍微移动相机 |
| 视觉特效 | 3D 艺术家 | 从一张静态图快速得到 3D 基础 | 在高斯点云查看器里打开输出文件 |
| 工具链 | 开发者 | 把它的输出送进点云渲染器 | 把生成的 .ply 文件加载到查看器里 |
如果你需要远离原始相机角度的视图,可以跳过它,因为模型卡描述的是邻近视角。
| Use case | Who | What they get back |
|---|---|---|
| 预测场景 | 研究人员 | 输出文件夹里的 3D 高斯点云文件 |
| 渲染视频 | 开发者 | 在 CUDA GPU 上沿相机路径渲染的视频 |
| 在查看器里检查 | 艺术家 | 可以在 3DGS 渲染器里环顾的场景 |
你需要 Python,以及项目代码仓库里的环境。然后下载检查点文件。
pip install huggingface-hub huggingface-cli download --include sharp_2572gikvuh.pt --local-dir . apple/Sharp
运行 sharp predict,给它一个图片输入文件夹、一个输出文件夹和检查点。加上 render 选项可以沿相机路径生成视频,这需要 CUDA GPU。
sharp predict -i /path/to/input/images -o /path/to/output/gaussians -c sharp_2572gikvuh.pt
sharp predict -i /path/to/input/images -o /path/to/output/gaussians --render -c sharp_2572gikvuh.pt # Or from the intermediate gaussians: sharp render -i /path/to/output/gaussians -o /path/to/output/renderings -c sharp_2572gikvuh.pt
| Tool | What it does |
|---|---|
| sharp predict | 把文件夹里的照片变成 3D 高斯文件 |
| --render | 同时沿相机路径渲染视频,仅限 CUDA GPU |
| sharp render | 用你已经生成的高斯文件渲染视频 |
| -c | 指向检查点文件 |
你对一个放着一张房间照片的文件夹运行 sharp predict。输出文件夹里会出现一个 3D 高斯的 .ply 文件,你在点云查看器里打开它,再来回挪动相机。
如果你是新手,可以把它看成一个从一张照片猜出场景 3D 形状的工具。先用一张照片,在点云查看器里打开结果。
对熟悉的人来说,单次网络前向计算就会输出高斯场景的每一个参数。模型卡说,与此前最好的模型相比,它把 LPIPS 降低了 25% 到 34%,DISTS 降低了 21% 到 43%,合成速度快了三个数量级。它遵循 OpenCV 坐标约定,场景中心靠近正 z 轴。
在标准 GPU 上不到一秒就能把一张照片变成 3D 高斯场景,可对邻近视角实时渲染。适合研究人员和图形开发者。
由 apple 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Sharp 是 Apple 的一个研究模型,能从一张照片构建 3D 场景。让网络前向跑一遍,就能预测出一组 3D 高斯,在标准 GPU 上不到一秒。然后你可以从邻近的相机位置实时渲染这个场景。
适合谁:想从一张图快速得到 3D 视角的研究人员和图形开发者。场景有绝对尺度,所以按真实尺寸移动相机是有意义的。许可证是 apple-amlr,使用前请先阅读其条款。
Title: 谁在用,怎么用
Industry | Who uses it | How they use it | Example
图形研究 | 研究人员 | 研究单张图像的视角合成,并拿它做对比 | 在一组照片上运行它,查看高斯输出
XR 和 AR | 原型开发者 | 把照片变成可以环顾的场景 | 在拍摄的房间里稍微移动相机
视觉特效 | 3D 艺术家 | 从一张静态图快速得到 3D 基础 | 在高斯点云查看器里打开输出文件
工具链 | 开发者 | 把它的输出送进点云渲染器 | 把生成的 .ply 文件加载到查看器里
如果你需要远离原始相机角度的视图,可以跳过它,因为模型卡描述的是邻近视角。
用在哪里:
Use case | Who | What they get back
预测场景 | 研究人员 | 输出文件夹里的 3D 高斯点云文件
渲染视频 | 开发者 | 在 CUDA GPU 上沿相机路径渲染的视频
在查看器里检查 | 艺术家 | 可以在 3DGS 渲染器里环顾的场景
如何设置:你需要 Python,以及项目代码仓库里的环境。然后下载检查点文件。
pip install huggingface-hub
huggingface-cli download --include sharp_2572gikvuh.pt --local-dir . apple/Sharp
如何使用:运行 sharp predict,给它一个图片输入文件夹、一个输出文件夹和检查点。加上 render 选项可以沿相机路径生成视频,这需要 CUDA GPU。
sharp predict -i /path/to/input/images -o /path/to/output/gaussians -c sharp_2572gikvuh.pt
sharp predict -i /path/to/input/images -o /path/to/output/gaussians --render -c sharp_2572gikvuh.pt
# Or from the intermediate gaussians:
sharp render -i /path/to/output/gaussians -o /path/to/output/renderings -c sharp_2572gikvuh.pt
Tool | What it does
sharp predict | 把文件夹里的照片变成 3D 高斯文件
--render | 同时沿相机路径渲染视频,仅限 CUDA GPU
sharp render | 用你已经生成的高斯文件渲染视频
-c | 指向检查点文件
示例:你对一个放着一张房间照片的文件夹运行 sharp predict。输出文件夹里会出现一个 3D 高斯的 .ply 文件,你在点云查看器里打开它,再来回挪动相机。
新手与专家:如果你是新手,可以把它看成一个从一张照片猜出场景 3D 形状的工具。先用一张照片,在点云查看器里打开结果。
对熟悉的人来说,单次网络前向计算就会输出高斯场景的每一个参数。模型卡说,与此前最好的模型相比,它把 LPIPS 降低了 25% 到 34%,DISTS 降低了 21% 到 43%,合成速度快了三个数量级。它遵循 OpenCV 坐标约定,场景中心靠近正 z 轴。
输入一张照片
网络一次前向预测高斯
保存 3D 高斯 .ply 文件
实时渲染邻近视角
注意事项:
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download apple/Sharp
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 许可证 | 最近更新 |
|---|---|---|---|---|
| Sharp 本页 | 4,150 | 423 | apple-amlr | |
| TRELLIS-image-large共有 image-to-3d | 2,762,068 | 722 | mit | |
| TRELLIS.2-4B共有 image-to-3d | 2,566,439 | 1,481 | mit | |
| TripoSR共有 image-to-3d | 168,894 | 689 | mit | |
| Idol共有 image-to-3d | 52,939 | 165 | apache-2.0 | |
| Idol共有 image-to-3d | 31,367 | 2,259 | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
well9472 · 工具包
用一个 670M 参数的小型扩散模型,根据文字提示生成插画,在 ComfyUI 中运行。这是一个低预算的研究模型,适合想试用或训练自己 LoRA 的人。
Waqf-AI · 工具包
读取图片中的阿拉伯语手写文字并以文本形式返回。这是微调过的 PaddleOCR-VL 模型,适合要把阿拉伯语手写内容数字化的人。
Wan-AI · 工具包
根据文本提示或图像加文字生成视频片段,最高 720P、每秒 24 帧,Diffusers 格式,适合单块消费级 GPU。
Wan-AI · 工具包
根据音频生成电影感的角色视频,也能给现有视频做口型同步。适合有大显卡的视频创作者、动画师和研究人员。
Wan-AI · 工具包
通过复制表演者的动作和表情,让角色动起来,或把角色换进视频里,是 Wan2.2 视频系列中的一个模型。只能使用你有权使用的面孔和形象。
vllm-sr · 工具包
在一次调用中回答关于文字、图片或视频的选择、是非、打分、框选和跟踪类问题,并为每个答案给出概率。适合构建路由或视觉检查的人。