摘要

本文介绍了一种名为ECAT（Entire space Continual and Adaptive Transfer Learning Framework）的跨域推荐系统框架。该框架主要解决工业推荐系统中，由于用户兴趣和需求多样性导致的样本空间仅为整个空间的一小部分，从而难以训练高效模型的问题。ECAT通过两个核心组件——样本转移和自适应知识蒸馏，实现了对整个空间样本和表示的充分利用，同时避免了负迁移。实验结果显示，ECAT在淘宝的实际工业数据集上显著提升了推荐性能，为淘宝的一个著名小程序带来了+13.6%的转化率和+8.6%的订单量。

原理

ECAT框架的工作原理主要体现在两个方面：样本转移和自适应知识蒸馏。在样本转移方面，ECAT采用两阶段方法，首先通过图引导方法进行粗略样本选择，然后使用领域适应方法进行细粒度选择，确保选出的样本对目标任务有价值。在自适应知识蒸馏方面，ECAT提出了一种方法，持续从在整个空间数据集上训练良好的源模型中转移表示，同时根据目标任务的需求自适应地决定是否引入这些表示信息。这种方法通过引入一个自适应门网络来评估源模型表示对目标模型的重要性，并通过蒸馏强度策略来调整表示的适应性，从而提高目标模型的性能。

流程

ECAT的工作流程包括以下几个步骤：

1. 样本转移：首先通过图引导方法（GST）选择与目标域分布相似的样本，然后通过领域适应（DA）模块进一步筛选出对目标任务更有价值的样本。
2. 模型训练：使用选出的样本训练目标模型，同时保持源模型的参数不变。
3. 自适应知识蒸馏：在训练过程中，通过自适应知识蒸馏（AKD-CT）模块，持续从源模型中提取有价值的表示信息，并根据目标任务的需求自适应地融合这些信息到目标模型中。
4. 在线推理：在在线推理过程中，仅引入少量的适配器层，这些层具有很低的复杂度，确保了系统的实时性和效率。

应用

ECAT框架的应用前景广泛，特别适用于那些需要处理多域数据且每个域的样本量差异较大的推荐系统。例如，在电子商务平台中，不同的小程序或频道可能拥有不同的用户群体和商品分布，ECAT能够有效地整合这些不同域的数据，提升整体的推荐效果。此外，ECAT的自适应特性也使其能够适应不断变化的数据环境和用户需求，具有很高的灵活性和扩展性。