AI 研究技能与智能体

OpenEuroLLM Prelude-base 9B

openeurollm · 工具包

一个实验性 9B 基础语言模型的中间训练检查点，用 10T 词元训练，以英文为主并含一部分多语言内容。适合关注欧洲开源模型训练的研究者。

TFM_SimilitudSemantica_Fichero

jfarray · 工具包

在 Gradio 页面里用多语言 BERT 模型比较文本在意思上有多接近，附带一个示例 JSON 文件，适合 NLP 学生和研究人员。

TokenAtlas

prajwalpujari16 · 工具包

一个浏览器探索器，比较同样的文字在 52 种语言和多个 LLM 分词器下需要多少 token，基于 FLORES-200 基准。适合为多语言 LLM 使用做预算的人。

HAKARI-Bench Leaderboard

hakari-bench · 工具包

展示 HAKARI-Bench 的公开结果，这是一个轻量的多语言信息检索基准，带有表格、模型对比和筛选。适合挑选检索模型的研究者和工程师。

OWSM v4

espnet · 工具包

用 OWSM v4 模型转写语音、在语言之间翻译、识别说的是哪种语言并解码长录音，可选文字提示词。适合语音研究者和想测试多语言音频的人。

Safety Doesn't Translate

DhruvParmar051 · 工具包

并排展示 Cohere 的 Tiny Aya 在不重新训练的安全修复前后的回答，使用来自测试集、事先评判过的回复。适合 AI 安全研究者和多语言模型的开发者。