RL Environments on Hugging Face

RL Environments on Hugging Face

让你浏览 Hugging Face Hub 上的强化学习环境，查看它们的任务和奖励，并运行智能体 rollout 来比较结果。适合强化学习和智能体研究者。

由 FineEnvs 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个 Space 是 HF RL Explorer，一个用来查找托管在 Hub 上的强化学习环境的网页应用。它涵盖来自 OpenEnv、Harbor、MiMo、NeMo Gym 和 Verifiers 的公开数据集和已检查的环境 Space。你可以打开单个任务，看它用到哪些工具和奖励，然后在受支持的框架上启动智能体运行，并比较各自的得分。

适合谁：适合构建或测试智能体、想在一个地方比较环境、任务和评分器的人。

Industry | Who uses it | How they use it | Example
AI 研究 | 强化学习研究者 | 浏览环境，阅读它们的任务和奖励 | 在使用一个任务前，先看它是怎么评分的
智能体开发 | 智能体开发者 | 让智能体运行一个任务并查看评分 | 用受支持的智能体之一运行一个 Harbor 任务
模型评测 | 评测者 | 按模型比较 rollout | 查看社区公开的已评分 rollout

如果你不做智能体或强化学习环境的工作，可以跳过它。

用在哪里：你可以在这些地方使用它：

• 浏览器：打开 Hugging Face 上这个 Space 的页面，不需要安装任何东西。
• Windows、macOS 或 Linux：用 Docker 构建并运行你自己的副本。
• 编程智能体：也可以通过 MCP 访问 OpenEnv Space。

Use case | Who | What they get back
寻找环境 | 研究者 | 数据集和环境 Space 的索引视图
运行 rollout | 智能体开发者 | 智能体在任务上的已评分运行结果
比较模型 | 评测者 | 按模型比较的社区 rollout

如何设置：如果要在本地运行副本，你需要先准备：

• Python 和 pip，用来下载文件
• Docker，用来构建和运行镜像
• 一个 Hugging Face 账号，用来运行 rollout

在线页面不需要安装任何东西就能浏览。若要运行你自己的副本，请按下面的步骤操作。

1. 安装 Hugging Face 工具。
2. 把这个 Space 的文件下载到一个文件夹。
3. 进入那个文件夹。
4. 构建 Docker 镜像。
5. 运行它，并打开 7860 端口。

pip install -U huggingface_hub
hf download FineEnvs/RL-Explorer --repo-type space --local-dir RL-Explorer
cd RL-Explorer
docker build -t rl-explorer .
docker run -it -p 7860:7860 rl-explorer

如何使用：打开这个 Space，浏览它索引的数据集和环境 Space。打开一个任务，阅读它的说明、工具和奖励设置，然后用你的 Hugging Face 账号开始一次 rollout。

docker run -it -p 7860:7860 rl-explorer

Tool | What it does
Harbor datasets | 列出每个数据集的任务。你为任务挑选一个智能体，例如 Pi、Terminus 2、mini-SWE-agent 或 OpenCode
OpenEnv Spaces | 展示服务器提供什么，包括试玩区、它的文件和面向编程智能体的 MCP
NeMo Gym, Verifiers, verl and SkyRL datasets | 按各框架的理解方式展示每一行，并给出运行它的命令
MiMo-V2.6 RL | 提供该版本的任务，用它们自己的工具运行，或使用它们的 Harbor 形式
Graders that call a model | 通过中转发送评判调用，所以沙盒从不持有你的密钥
Community | 列出所有人公开的已评分 rollout，并按模型比较

示例：你打开一个 Harbor 任务，阅读它的说明，选一个受支持的智能体。rollout 在你的 Hugging Face 账号下的沙盒里运行，由任务自带的测试评分。

新手与专家：如果你是新手，先打开这个 Space，浏览几个任务再运行任何东西。读一读任务说明和评分方式，就能明白强化学习环境是什么。

如果你熟悉这个领域，这个应用索引了多个框架，并按各自框架的含义展示每一行。rollout 使用按小时计费的沙盒，以及按服务商价格计费的模型令牌。标准答案保持隐藏。存放解答、参考补丁和评分器旁边数据的文件会出现在列表里，但内容不会显示，通过 MCP 也一样。

浏览数据集和 Space
打开任务并阅读设置
登录并开始 rollout
沙盒运行智能体
任务的评分器打分

注意事项：rollout 在你自己的 Hugging Face 账号下运行。登录会请求三项权限：inference-api 用于模型，jobs 用于沙盒，read-repos 用于你的私有数据集，只有你自己能看到。

• License: apache-2
• Cost to run: 按小时计的沙盒时间，加上由服务商定价的模型令牌费用，或者你自己的 OpenAI 格式端点
• Data it reaches: 你的 Hugging Face 账号、Inference Providers 和你的私有数据集，只有你自己能看到
• Not for: 查看标准答案，它们在每个页面和 MCP 上都被隐藏

Hugging Face 上的数据（2026年11月13日）

• 点赞：40
• 构建方式：docker
• 许可证：apache-2.0

链接

• Space：https://huggingface.co/spaces/FineEnvs/RL-Explorer
• 文件：https://huggingface.co/spaces/FineEnvs/RL-Explorer/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。