Inkling-Small-NVFP4

Inkling-Small-NVFP4

Inkling-Small 的 NVFP4 版本，一个多模态混合专家模型，接收文本、图像和音频并输出文本。适合构建智能体、编程助手和其他 AI 应用的开发者。

由 thinkingmachines 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Inkling-Small-NVFP4 是 Thinking Machines 的 Inkling-Small 的 NVFP4 版本。它能处理文本、图像和音频输入，回复始终是文本，面向通用用途。模型卡给出总计 276B 参数，每个 token 激活 12B。这个副本的权重约 156 GB。

适合谁：构建 AI 应用的开发者，包括智能体和工具调用系统、编程助手，并且有足够大的 GPU 来托管这个规模的模型。

行业 | 谁在用 | 怎么用 | 例子
软件 | 编程助手开发者 | 用多种编程语言生成代码并讨论 | 请它写一个函数并解释
智能体系统 | 构建调用工具的智能体的人 | 把模型当作智能体的推理核心 | 规划步骤并调用工具
多模态应用 | 处理图片和语音的团队 | 发送文本、图像或音频，读取文本回复 | 针对一张图像提问

如果你需要输出图像或音频的模型，可以跳过它，因为它只输出文本。

用在哪里：

• Tinker Playground，先在上面试用
• 通过 Tinker Cookbook 使用 API，或使用第三方推理服务商
• 基于 SGLang、vLLM、TokenSpeed、Unsloth 或 Hugging Face 的本地服务器

用途 | 适合谁 | 得到什么
编程帮助 | 开发者 | 文本形式的代码和解释
智能体和工具调用 | 智能体开发者 | 驱动工具的文本决定
图像提问 | 应用团队 | 针对你发送的图像的文本回答
音频输入 | 应用团队 | 基于 WAV 录音的文本回答

如何设置：先决定怎么运行它，再下载权重。模型卡列出了 SGLang、vLLM、TokenSpeed、Unsloth 和 Hugging Face 的做法。这个 NVFP4 副本约 156 GB，所以需要很大的 GPU 内存。

• Python 和 pip
• 大容量 GPU 和约 156 GB 的磁盘空间
• 列出的服务库之一

1. 从模型卡的列表里选一个服务库。
2. 下载权重。
3. 按该库的做法启动模型。

pip install -U huggingface_hub
hf download thinkingmachines/Inkling-Small-NVFP4

如何使用：发送文本、图像、音频片段或它们的组合，再读取返回的文本。为了获得最佳效果，模型卡建议每张图像的边长在 40 到 4096 像素之间，音频用 16 kHz 的 WAV，最好不超过 2 分钟。

示例：你发送一张图表截图，并问“What trend does this show?”。模型会用文字描述趋势。模型卡没有给出示例输出。

新手与专家：如果你是新手，先在浏览器里用 Tinker Playground，因为这个模型对笔记本来说太大了。先试一个文本问题，再试一个带图像的问题。

对专家来说，设计是把稀疏混合专家结构放进一个 42 层的仅解码器 Transformer。路由器为每个 token 从 256 个专家里挑 6 个，另外 2 个共享专家始终运行。注意力混合了局部层和全局层。图像经过分层的补丁编码器，音频被编码成离散 token。

文本、图像或音频输入
图像和音频的编码器
稀疏混合专家 Transformer
文本输出

注意事项：

Title: 参数量，单位十亿
Total: 276 B
Active per token: 12 B

• Numerics: 模型卡列出 BF16 和 NVFP4，这个副本是 NVFP4
• Languages: 英文，另有通用的多语言能力
• License: Apache 2.0
• Cost to run: 本地运行不需要密钥，托管 API 和服务商可能收费
• Data it reaches: 从 Hugging Face 下载文件，使用托管 API 会把你的提示词发送给该服务
• Not for: 生成图像或音频，因为输出只有文本

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：156B
• Weights: about 156 GB in U8
• Formats: Safetensors
• 最近 30 天下载：367,272
• 点赞：93
• 许可证：apache-2.0
• 基于：thinkingmachines/Inkling-Small
• Fine-tunes: 1
• 标签：transformers, safetensors, inkling_mm_model, image-text-to-text, conversational, audio-text-to-text, 8-bit

链接

• 模型：https://huggingface.co/thinkingmachines/Inkling-Small-NVFP4
• 文件：https://huggingface.co/thinkingmachines/Inkling-Small-NVFP4/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download thinkingmachines/Inkling-Small-NVFP4

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。