TokenAtlasprajwalpujari16 · 工具包 一个浏览器探索器,比较同样的文字在 52 种语言和多个 LLM 分词器下需要多少 token,基于 FLORES-200 基准。适合为多语言 LLM 使用做预算的人。 新上架