Claude Tokenizer

Claude Tokenizer

展示 Claude、OpenAI 和 Hugging Face 的分词器如何切分你的文本，并排给出词元数量和每个词元覆盖的字符数。适合比较各模型词元成本的开发者。

由 sanderland 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个 Space 展示 Claude 分词器如何把文本切成词元，并与 OpenAI 和开源模型的分词器放在一起对比。你粘贴文本或指向一个公开数据集，它会给出每个分词器的词元数量，以及一个词元平均覆盖多少字符。

适合谁：想知道一段提示词或一种语言在 Claude 上相比其他模型要花多少词元的开发者和研究者。

Industry | Who uses it | How they use it | Example
AI 产品 | 规划提示词长度的工程师 | 在选模型前估算词元用量 | 粘贴系统提示词，对比各分词器的数量
本地化 | 翻译内容的团队 | 看哪些语言需要更多词元 | 跑一个翻译数据集，对比每种语言的成本
研究 | 分词器研究者 | 查看单词如何拆成片段 | 在 Claude 行里读一句话的标记符号
教育 | 学习语言模型的学生 | 观察文本如何变成词元 | 粘贴一小段文字，查看切出的片段

如果你从不关心词元数量或模型如何读文本，可以跳过它。

用在哪里：它可以在两个地方运行。

• 网页浏览器，在 Hugging Face 上的 Space 页面打开，无需安装任何东西
• Windows、macOS 或 Linux，作为本地副本运行，需要 Python 3.12

Use case | Who | What they get back
对比一段文本 | 开发者 | 每个分词器的词元数量和每词元字符数
对比一个数据集 | 研究者 | 公开数据集前若干行的统计
检查 Hub 上的模型 | 模型开发者 | 任何带分词器文件的仓库都能得到同样的数字

如何设置：本地运行前你需要准备几样东西。

• Python 3.12 和 pip
• 一个名为 HF_TOKEN 的 Hugging Face 令牌密钥，只有受限的分词器仓库才需要
• 如果在浏览器里用这个 Space，什么都不用准备

1. 安装 Hugging Face 工具。
2. 把这个 Space 下载到一个文件夹。
3. 进入该文件夹。
4. 安装 Gradio 和 requirements.txt 里的包。
5. 启动应用。

pip install -U huggingface_hub
hf download sanderland/claude-tokenizer --repo-type space --local-dir claude-tokenizer
cd claude-tokenizer
pip install gradio==6.24.0
pip install -r requirements.txt
python app.py

如何使用：打开应用并粘贴你的文本。每个分词器会显示切出的片段、词元数量和每词元字符数。对于数据集，给出它的 id，指定配置和存放文本的列，再设置要对比的行数。作者还发布了一个小包，可以离线统计一个字符串。

uvx ctok "your text"

Tool | What it does
文本对比 | 用每个选定的分词器切分粘贴的文本
分词器下拉框 | 输入 Hub 仓库 id 来添加另一个分词器
数据集标签页 | 从公开数据集流式读取行并进行对比
ctok | 离线统计字符串，不调用任何 API

示例：你粘贴一段法语，保持默认选项。页面会把 Claude v5、o200k_base 和 DeepSeek V4 Flash 并排显示。每个都带着词元数量和每词元字符数，你能看出哪一个把这段话切成更少的片段。

新手与专家：词元是模型读取的文本块，而不是单个字母。粘贴一句话，看看每个分词器在哪里下刀。同样的文本词元越少，通常成本越低。

如果你做分词器研究，Claude 这一侧是由 ctok 包重建出来的，而不是从公开列表读取，所以它的 vocab 数字统计的是有成员证据的片段。Claude v3 和 v5 都参与对比，v4.7 的词表与 v5 共用。标记符号会标出词首、大写和原始字节。

你粘贴文本或选择数据集
每个分词器把它切成片段
应用统计词元和每词元字符数
你并排对比各行结果

注意事项：统计只针对文本本身，不含 API 请求给一条消息额外包上的词元。

• License: MIT
• Cost to run: 没有提到任何付费服务，只有受限仓库才需要 Hugging Face 令牌
• Data it reaches: 公开数据集，逐行流式读取，从不整体下载
• Not for: 与真实 API 请求逐词元完全一致的计数

Hugging Face 上的数据（2026年11月13日）

• 点赞：2
• 构建方式：gradio
• 许可证：mit

链接

• Space：https://huggingface.co/spaces/sanderland/claude-tokenizer
• 文件：https://huggingface.co/spaces/sanderland/claude-tokenizer/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。