摘要

本文介绍了一种名为Craftium的新型框架，用于创建和探索丰富的3D视觉强化学习（RL）环境。Craftium基于开源的Minetest游戏引擎和流行的Gymnasium API，旨在为研究人员提供高度定制化的环境，以满足特定的研究需求。该框架不仅支持简单的视觉任务，还能创建无限和程序生成的世界。此外，Craftium还提供了五个即用型环境，作为基准测试和开发新环境的示例。

原理

Craftium的工作原理基于Minetest游戏引擎的扩展性和Gymnasium API的通用接口。Minetest通过其Lua API提供了广泛的定制选项，允许用户完全修改游戏引擎的行为。Craftium通过最小化修改Minetest源代码，保持与未来游戏引擎更新的兼容性，并提供了一个易于使用的Python库，使用户能够加载、修改、创建和与环境交互。此外，Craftium实现了Gymnasium接口，使其兼容多种其他库和项目。

流程

Craftium的工作流程包括三个主要组件：修改版的Minetest游戏引擎、Craftium的Python库和代理。首先，Minetest游戏引擎通过TCP协议与Craftium进程通信，并扩展了Lua API以定义RL任务。其次，Craftium的Python库简化了与Minetest的通信，并集成了Gymnasium API。最后，代理使用上述API与环境交互。例如，用户可以通过加载预定义的Craftium环境、初始化 episode、执行随机动作并根据环境反馈重置 episode 来训练RL代理。

应用

Craftium的应用前景广泛，特别适用于需要复杂3D视觉任务的RL和机器人研究。由于其高度灵活性和定制化能力，Craftium可以用于开发各种新颖的RL环境，从简单的视觉任务到复杂的程序生成世界。此外，Craftium的开放源代码和详细文档使其易于被研究社区采纳和扩展。