摘要

本文由Hang Yu等人撰写，探讨了在机器人学习中利用一种新颖的人类反馈信号——“进度”（progress），以提高机器人从人类教学中的学习效率和用户体验。文章通过三个实验（两个在线研究和一个公共空间研究）验证了“进度”信号的有效性，并展示了其在评估任务完成度、识别无害但无效行为以及在非专家演示中的应用潜力。此外，文章还发布了一个包含40个非专家演示的数据集，强调了“进度”信号在机器人学习中的重要性和应用前景。

原理

“进度”信号被定义为任务完成率的累积，范围从完全未完成到完全完成。文章假设“进度”提供的信息超越了传统的奖励反馈，能够更客观地反映任务的完成情况。通过实验验证，文章发现“进度”信号不仅能够指示任务是否成功完成，还能在演示存在非最优行为时保持一致性，且不需要额外的劳动力和时间。此外，“进度”信号在处理非专家的多策略和次优演示时表现出更高的鲁棒性和一致性。

流程

文章通过两个在线研究和一次公共空间研究来验证“进度”信号的有效性。在线研究中，参与者观看预录制的专家演示并提供“进度”和标量反馈。公共空间研究中，参与者在冰淇淋配料添加任务中进行演示，并对自己的演示提供“进度”和标量反馈。通过这些研究，文章展示了“进度”信号如何被用于评估任务完成度，并在不同类型的演示中保持一致性。

应用

“进度”信号的应用前景广泛，包括但不限于防止奖励作弊、逆强化学习、数据过滤和排序等。文章认为，“进度”信号能够为机器人学习提供更丰富的信息，特别是在处理非专家演示和非最优行为时。未来研究可以进一步探索如何利用“进度”信号提高机器人学习的效率和准确性。