摘要

本文探讨了在机器人操作中，如何将基于视觉的策略推广到新环境的问题。传统的做法是在一个位置收集数据，训练模仿学习或强化学习策略，并在同一位置部署策略。然而，这种方法缺乏可扩展性，因为每个任务都需要在多个位置收集数据。为此，本文提出了一种新颖的方法，即在主要使用绿幕的位置收集数据，并引入绿幕增强（GreenAug）技术，利用色度键算法将背景纹理叠加到绿幕上。通过大量的实际实验，GreenAug在性能上超越了无增强、标准计算机视觉增强和先前的生成增强方法。本文倡导未来研究中的真实世界演示应利用绿幕，并应用GreenAug，以解锁对视觉上不同的新位置的策略泛化，解决当前机器人学习中场景泛化的局限性。

原理

GreenAug的工作原理基于绿幕技术和色度键算法。首先，在绿幕环境中收集机器人操作数据。然后，使用色度键算法生成绿幕区域的遮罩，该算法能够识别并移除特定的背景颜色（通常是绿色或蓝色），使其透明，从而可以叠加新的背景纹理。GreenAug包括几种变体：随机纹理增强（GreenAug-Rand）、生成模型增强（GreenAug-Gen）和遮罩网络增强（GreenAug-Mask）。GreenAug-Rand应用一组随机纹理到色度键背景上，增加背景的多样性；GreenAug-Gen使用生成模型如Stable Diffusion来填充背景，生成逼真的环境；GreenAug-Mask则使用遮罩网络来预测遮罩，遮挡背景，简化视觉输入，帮助策略聚焦于主要操作对象。这些方法通过改变背景，使机器人学习策略能够适应视觉场景的变化，专注于图像空间中的关键特征。

流程

GreenAug的工作流程包括三个主要步骤：绿幕场景设置、通过色度键进行GreenAug处理、训练机器人学习策略。首先，设置绿幕场景，可以使用两种方法：将物品移入绿幕区域或将绿幕带到固定物品的场景中。其次，应用色度键技术生成绿幕遮罩，并根据需要应用随机纹理、生成背景或使用遮罩网络。最后，将经过GreenAug处理的图像用于训练机器人学习策略，这些图像可以直接在训练过程中使用，也可以预处理后用于训练。整个流程旨在通过增强背景的多样性，提高策略在未见场景中的泛化能力。

应用

GreenAug的应用前景广泛，特别是在需要机器人策略在多种不同环境中操作的场景。例如，家庭服务机器人需要在不同的房间和环境中执行任务，GreenAug可以帮助这些机器人更好地适应新环境。此外，GreenAug还可以应用于工业自动化、灾害响应、医疗辅助等多个领域，提高机器人在复杂和多变环境中的操作能力和适应性。随着技术的进一步发展和优化，GreenAug有望成为机器人学习和操作中的一个标准工具。