摘要

本文介绍了一种名为RISE的新型框架，旨在解决机器人实例分割中标注数据稀缺的问题。RISE结合了半监督学习（SSL）和通过交互学习（LTI）的方法，使得模型能够在仅有少量标注数据的情况下，通过自我监督和利用未标注图像中的时间上下文来提高性能。该方法在ARMBench和OCID两个常见基准测试中达到了最先进的性能，特别是在ARMBench上，RISE在仅使用1%的标注数据时，其AP50得分达到了84.89，显著优于现有方法。

原理

RISE框架的核心在于其能够利用部分标注的数据进行自我监督学习，并通过生成伪序列来模拟场景交互，从而在不依赖于精心编排的交互序列数据集的情况下，增强模型的泛化能力。该框架通过同时处理LTI和SSL的挑战，消除了对专用数据集的需求，并通过耦合预测头来稳定早期训练中的预测，从而防止噪声自我预测掩盖学习信号。RISE框架是模型无关的，可以通过端到端训练增强现有（及未来）分割模型的时序感知能力。

流程

RISE的工作流程包括以下几个关键步骤：首先，对未标注的图像进行弱增强以生成“之前”图像x1，然后再次进行弱增强并插入来自实例记忆库的对象以生成“之后”图像x2。接着，对x1进行强增强以生成x3。这三个图像被批处理并输入到模型中，模型通过骨干网络提取特征，然后编码为实例嵌入。实例嵌入从x1和x2用于计算嵌入损失，而x1的嵌入则作为自监督损失中x3嵌入的伪标签。整个框架同时处理监督和半监督数据，通过实例分割模型（Sec. 3.1）和实例关联与一致性损失（Sec. 3.2）来提取学习信号。

应用

RISE框架的应用前景广泛，特别是在自动化分销仓库等领域，机器人需要从杂乱的场景中准确抓取和放置物品。由于其能够在极少标注数据的情况下实现高性能，RISE有望在需要快速部署和适应新环境的机器人技术中发挥重要作用。此外，RISE的模块化设计使其能够与其他分割模型结合，进一步扩展其应用范围。