TokenAtlas
prajwalpujari16 · 工具包
一个浏览器探索器,比较同样的文字在 52 种语言和多个 LLM 分词器下需要多少 token,基于 FLORES-200 基准。适合为多语言 LLM 使用做预算的人。
新上架
围绕一个问题读遍资料,再告诉你每份资料怎么说的提示词和智能体。
prajwalpujari16 · 工具包
一个浏览器探索器,比较同样的文字在 52 种语言和多个 LLM 分词器下需要多少 token,基于 FLORES-200 基准。适合为多语言 LLM 使用做预算的人。