来自 Hugging Face 的 AI 项目

TokenAtlas

prajwalpujari16 · 工具包

一个浏览器探索器，比较同样的文字在 52 种语言和多个 LLM 分词器下需要多少 token，基于 FLORES-200 基准。适合为多语言 LLM 使用做预算的人。