Idol on LiteRT

Idol on LiteRT

用 Idol 模型的 LiteRT 版本和一个示例应用，在 Android 手机上把一张物体照片变成 3D 高斯点云，适合移动端和 3D 开发者。

由 litert-community 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库把 Idol 打包成 LiteRT 版本，让一张物体照片在手机上变成 3D 高斯点云。你可以转动结果，看到照片里没拍到的侧面。仓库里有带 idol-turbo LoRA 的去噪器、解码器、VAE 编码器和背景去除器。DINOv3 图像编码器放在另一个需要授权的仓库里。

适合谁：想在设备上运行图片转 3D 的 Android 开发者会觉得合适，研究转换后 LiteRT 计算图的 3D 和机器学习工程师也一样。每张照片需要几分钟，而不是几秒钟。

行业 | 谁在用 | 怎么用 | 例子
移动应用 | Android 开发者 | 用示例应用在手机上运行照片转点云 | 做一个可以离线使用的扫描功能
3D 内容 | 创作者 | 用单张照片做出一个可旋转查看的物体 3D 视图 | 快速看一看植物或椅子的 3D 样子
研究 | 机器学习工程师 | 研究模型是如何转换成 LiteRT 计算图的 | 对比两种形式的速度和精度
硬件测试 | 设备团队 | 在真实手机上测量发热和速度 | 在手机凉的时候计时一次运行

如果你需要几秒钟内得到点云，可以跳过它，因为模型卡自己的计时都是以分钟计的。

用在哪里：

• Android 手机，使用 android 文件夹里的示例应用
• LiteRT，通过它的 CompiledModel 接口
• 一个 Python 运行器，支持同样的两种形式
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用途 | 适合谁 | 得到什么
照片转 3D | Android 开发者 | 一个保存着点云的 .ply 文件
速度测试 | 设备团队 | 某款手机上每个阶段的耗时
形式对比 | 研究者 | 两种形式的速度和接近程度分数

如何设置：你需要一部 Android 手机、示例应用，以及另一个 DINOv3 仓库的访问权限。模型卡在使用 LiteRT 2.3.0 的 Galaxy S26 和 Pixel 11 Pro 上做了测量。

• 一部 Android 手机，比如模型卡测量过的那些
• LiteRT 2.3.0，模型卡使用的版本
• 需要授权的 DINOv3 仓库的访问权限，它有自己的许可
• Python 和 pip，用来下载文件

1. 安装 Hugging Face 的 hub 软件包。
2. 下载仓库里的文件。
3. 从 DINOv3 自己的需授权仓库里获取编码器。
4. 从 android 文件夹构建并运行示例应用。

pip install -U huggingface_hub
hf download litert-community/Idol

如何使用：给示例应用一张某个物体的照片。它会去除背景，对图像编码，运行去噪器和解码器，然后写出一个 .ply 文件。这里看到的文字没有给出构建命令，具体请看模型页面。

工具 | 作用
默认形式（仓库根目录） | 生成 65,536 个高斯，是模型卡测量过的形式里最快的
262k 文件夹形式 | 生成 262,144 个高斯，与作者的默认输出更接近
android 文件夹里的示例应用 | 在手机上把照片变成点云
Python 运行器 | 运行两种形式，指向根目录或 262k 文件夹

示例：你在 Galaxy S26 上打开示例应用，给它一张花盆里植物的照片。手机凉的时候大约 158 秒后，它写出一个有 65,536 个高斯的点云，你可以从正面、侧面和背面查看。

新手与专家：高斯点云是由许多柔和的彩色小团组成的 3D 场景，让你能从其他角度看一个物体。一个好的第一步是读一读模型卡里的两种形式，然后选默认那一种。

默认形式让去噪器的中间块共用一个计算图，让解码器的中间计算图也共用一个，每次调用前把权重复制进去。模型卡说 int8 权重在手机 GPU 上跑不起来，去噪器也没能为 Galaxy S26 的 NPU 编译。手机一热，运行就慢很多，而且默认形式与作者输出的接近程度不如更大的那种形式。

你给应用一张物体照片
BiRefNet 在 CPU 上去除背景
编码器和去噪器在 GPU 上运行
解码器把 3D 点云写成 .ply 文件

Title: 每张照片耗时，启动后的第一张，单位为秒
Default form on Galaxy S26: 158 seconds
First release form on Galaxy S26: 267 seconds
Default form on Pixel 11 Pro: 343 seconds

注意事项：

• License：apache-2.0，以 Hugging Face 上列出的为准
• DINOv3 编码器在另一个需要授权的仓库里，有自己的许可
• Cost to run：没有提到
• Data it reaches：你给应用的照片，来源没有提到网络或账号访问
• Not for：追求快速结果，因为模型卡的耗时从约 158 秒到 449 秒不等
• 发热有影响，因为在模型卡的测试里，手机变热后用时更长

Hugging Face 上的数据（2026年11月13日）

• 任务：image to 3d
• 框架：litert
• 最近 30 天下载：1,066
• 点赞：5
• 许可证：apache-2.0
• 基于：speridlabs/idol
• 标签：litert, tflite, android, on-device, gaussian-splatting, 3d, image-to-3d

链接

• 模型：https://huggingface.co/litert-community/Idol
• 文件：https://huggingface.co/litert-community/Idol/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download litert-community/Idol

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。