Inkling-Small

Inkling-Small

读取文字、图像和音频并用文字回答，面向开发助手、编程工具和智能体的开发者。这是稀疏混合专家模型，总参数 276B，每个词元激活 12B。

由 thinkingmachines 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Inkling-Small 是 Thinking Machines 发布的开放权重多模态模型。它接收文字、图像和音频，用文字给出回答，支持英语和其他语言，也支持多种编程语言。

它是 42 层的稀疏混合专家 Transformer。在 276B 参数中，每个词元激活 12B。

适合谁：适合构建 AI 应用的开发者，比如编程助手、聊天机器人、会用工具的智能体和检索增强生成系统，也适合微调开放模型的团队。

Industry | Who uses it | How they use it | Example
软件 | 编程助手的开发者 | 运行一个通用模型来处理代码和聊天 | 回答关于某个代码文件的问题
产品团队 | 智能体和聊天机器人的构建者 | 使用工具调用和指令遵循 | 运行能看截图的客服聊天机器人
数据团队 | RAG 系统的构建者 | 基于检索到的文字回答问题 | 把搜索结果和提示词结合
研究 | 微调研究者 | 让开放权重适应某个领域 | 用内部数据微调

如果你没有服务器级硬件，可以跳过它，因为按估算，权重在 BF16 下约 532 GB，4 位下约 133 GB。

用在哪里：

• Tinker Playground，一个用来试用模型的托管页面
• Tinker Cookbook，卡片指向它来获取 API 访问
• 用 SGLang、vLLM、TokenSpeed、Unsloth 或 Hugging Face 做本地部署，各有自己的配方
• 第三方推理服务商，卡片说它们也提供 API 访问
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
编程帮助 | 开发者 | 多种编程语言的文字回答和代码
图像提问 | 应用构建者 | 关于你提供的图片的文字回答
音频理解 | 产品团队 | 基于 WAV 录音的文字输出

如何设置：

• 用来运行下载命令的 Python 和 pip
• 本地部署需要服务器级 GPU 显存，或者一个服务商的账号
• 如果自己运行，需要卡片列出的一个部署库

1. 安装 Hugging Face 工具。
2. 下载模型文件，或者选 NVFP4 版本以占用更小的空间。
3. 从卡片里选一个部署库，照它的配方操作。
4. 或者不做本地部署，直接试 Playground 或某个推理服务商。

pip install -U huggingface_hub
hf download thinkingmachines/Inkling-Small

如何使用：把文字、图像或音频发给已部署的模型，再读取返回的文字。卡片给出了图像和音频的大小与长度限制，在这些范围内效果最好。

Input | Format and limits
文字 | UTF-8 文字
图像 | 任何基于像素的图像，每边在 40 到 4096 像素之间效果最好
音频 | 16 kHz 的 WAV，最好短于 2 分钟

示例：你用列出的某个库部署模型，然后发一张图表照片，并就它提一个问题。模型会用文字回复它对图表的解读。

新手与专家：如果你刚接触大模型，先试托管的 Playground，看看它怎么处理文字和图像，再考虑本地部署。本地部署需要很多 GPU 显存。

如果你熟悉这个领域，路由器为每个词元从 256 个专家里选 6 个，另有 2 个共享专家处理每个词元。注意力混合了局部和全局层，图像经过层级式补丁编码器，音频被编码为离散词元，它们共用一个隐藏空间。

文字、图像或音频输入
各模态编码器进入同一个共享隐藏空间
稀疏混合专家解码器为每个词元选路
文字输出

注意事项：

• 模型类型是多模态自回归 Transformer，只生成文字
• 支持的数值格式是 BF16 和 NVFP4
• Hugging Face 列出了别人做的 54 个量化版本
• 卡片可见部分有与开放权重和闭源模型对比的基准表，但这里数字被截掉了

Title: 参数量，单位十亿
总参数: 276 十亿
每个词元激活: 12 十亿

• License: Apache 2.0，卡片还链接了一份可接受使用政策
• Cost to run: 权重方面没有提到，不过 Playground 和服务商 API 是另外的服务，自托管需要你自己的服务器级硬件
• Data it reaches: 你发给它的文字、图像和音频
• Not for: 文字以外的输出，因为它只生成文字

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：266B
• Weights: about 532 GB in BF16; about 133 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,114,076
• 点赞：456
• 许可证：apache-2.0
• Quantized versions: 54
• Fine-tunes: 7
• 标签：transformers, safetensors, inkling_mm_model, image-text-to-text, conversational, audio-text-to-text

链接

• 模型：https://huggingface.co/thinkingmachines/Inkling-Small
• 文件：https://huggingface.co/thinkingmachines/Inkling-Small/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download thinkingmachines/Inkling-Small

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。