摘要

本文介绍了一种名为AutoTask的创新型多任务广告相关性模型，由Microsoft AI的研究团队开发。该模型通过引入任务感知的多面注意力机制，有效地解决了在多种广告类型和场景中，用户搜索查询与广告提供之间的相关性评估问题。AutoTask模型通过任务ID编码和自回归注意力机制，不仅提高了模型对未见任务的泛化能力，还显著提升了多任务处理的性能，超越了传统的深度神经网络模型和特定任务模型。

原理

AutoTask模型的核心在于其多面注意力机制，包括任务感知特征建模和跨任务交互建模两个方面。在任务感知特征建模中，模型通过引入任务ID编码，将任务信息嵌入到特征表示中，使得模型能够更好地捕捉任务特定的信息。跨任务交互建模则通过自回归注意力机制，有效地模拟了任务间的相似性和差异性，从而在单任务推理时也能利用多任务数据的优势。

流程

AutoTask模型的工作流程分为两个主要阶段：训练和推理。在训练阶段，模型接收来自多个任务的输入数据，通过任务ID编码和自回归注意力机制进行特征融合和任务交互建模。在推理阶段，模型仅接收单一任务的输入，利用训练阶段学习到的多任务知识进行高效的相关性评估。例如，在处理未见任务“Clinic”和“Home”时，模型展示了出色的性能，证明了其强大的泛化能力。

应用

AutoTask模型在广告技术领域具有广泛的应用前景，特别是在需要处理多种广告类型和用户行为的场景中。此外，该模型的任务感知和跨任务交互建模方法，也可能适用于其他多任务学习问题，如自然语言处理和计算机视觉等领域的任务。