来自 Hugging Face 的 AI 项目

Claude Tokenizer

sanderland · 工具包

展示 Claude、OpenAI 和 Hugging Face 的分词器如何切分你的文本，并排给出词元数量和每个词元覆盖的字符数。适合比较各模型词元成本的开发者。

TokenAtlas

prajwalpujari16 · 工具包

一个浏览器探索器，比较同样的文字在 52 种语言和多个 LLM 分词器下需要多少 token，基于 FLORES-200 基准。适合为多语言 LLM 使用做预算的人。

Number Tokenization Blog

huggingface · 工具包

Hugging Face 的一个静态博客页面，讲数字分词，也就是语言模型把数字拆成小片段的方式，适合好奇模型如何处理数字的读者。