摘要

本文《Learning From Crowdsourced Noisy Labels: A Signal Processing Perspective》由Shahana Ibrahim, Panagiotis A. Traganitis, Xiao Fu, 和 Georgios B. Giannakis共同撰写，探讨了从众包噪声标签中学习的关键问题。文章背景在于人工智能（AI）和机器学习（ML）的进步依赖于大规模、精心策划的数据集，而这些数据集的创建常常通过众包方式，由多个标注者提供标签，然后整合这些标签以供下游学习和推理任务使用。然而，由于标注者的专业限制或不可靠性，标注过程中常产生噪声标签，因此核心目标是开发有效减轻这些噪声标签对学习任务负面影响的方法。文章介绍了从噪声众包标签中学习的最新进展，重点在于众包模型及其方法论处理，从经典的统计模型到最近的基于深度学习的方法，强调了分析见解和算法发展，特别是信号处理（SP）理论和方法如何推动这一领域的发展。此外，文章还触及了开发尖端AI/ML系统的关键新兴主题，如在强化学习中使用人类反馈（RLHF）和直接偏好优化（DPO），这些技术是微调大型语言模型（LLMs）的关键技术。

原理

文章详细介绍了众包系统中的标签整合和端到端（E2E）学习方法，这些方法旨在从多个标注者提供的噪声标签中学习。标签整合方法通过整合多个标注者的标签来提高整体标签准确性，而E2E学习方法则直接使用噪声标签来训练服务于特定任务的系统。文章强调了信号处理理论在众包模型中的应用，如张量分解和非负矩阵分解的识别性，以及如何通过这些方法解决众包中的长期挑战。此外，文章还讨论了新兴的AI/ML系统开发主题，如RLHF和DPO，这些技术在微调LLMs中发挥关键作用。

流程

文章描述了众包系统中的两种主要方法：标签整合和端到端（E2E）学习。标签整合方法包括两个阶段：首先整合标签，然后使用这些整合后的标签训练下游机器学习系统。E2E学习方法则直接将数据和噪声标签作为输入，直接在目标下游任务上训练学习系统。文章通过示例说明了这些方法的工作流程，特别是在E2E学习中，如何设计损失函数以最小化预测标签与实际标签之间的差异。

应用

文章指出，众包技术在AI/ML领域的应用前景广泛，特别是在数据标注、强化学习中的人类反馈（RLHF）和直接偏好优化（DPO）等方面。这些技术不仅在AI/ML系统中有重要应用，还在科学和工程的多个实际应用中显示出巨大潜力，如医学影像诊断、环境监测和灾难响应等。随着大型基础模型的出现，人与机器标注者的协作将进一步增强数据标注的效率和准确性。