摘要

本文介绍了一种名为SiamTST的新型表示学习框架，用于增强多变量时间序列（MTS）预测，特别是在电信网络中的应用。SiamTST通过集成孪生网络（Siamese network）与注意力机制、通道独立补丁（channel-independent patching）和归一化技术，实现了卓越的预测性能。该框架在实际工业电信数据集上的评估显示，其在预测准确性方面显著优于现有方法。此外，一个简单的线性网络也展示了竞争性的性能，仅次于SiamTST。该研究不仅扩展了MTS分析的当前知识，还提供了可以直接应用于电信行业以改善运营和决策制定的实用见解。

原理

SiamTST的核心创新在于其结合了孪生网络和注意力机制，以优化MTS的表示学习。孪生网络通过两个共享参数的相同模型来学习时间序列的通用表示，而注意力机制则允许模型动态地评估序列中不同元素的重要性。此外，通道独立补丁技术将多变量时间序列分割成独立的单变量序列，每个序列被进一步分割成连续的补丁，这有助于模型更有效地捕捉局部依赖性。归一化技术的应用进一步提高了模型的训练稳定性和效率。

流程

SiamTST的工作流程分为预训练和微调两个阶段。在预训练阶段，模型通过掩蔽时间序列建模任务来学习未标记时间序列的通用表示。在微调阶段，模型针对特定的下游任务（如预测）使用标记数据进行调整。模型的核心部分是一个Transformer编码器模块，该模块通过多层编码器处理输入的嵌入补丁，每一层包含多头注意力机制和前馈神经网络（FFN）。这些层通过残差连接和归一化层来增强梯度流动和训练稳定性。

应用

SiamTST的应用前景广泛，特别是在电信行业中，它可以用于网络流量管理和优化。此外，该框架的通用性和高性能也使其适用于其他需要复杂时间序列分析的行业，如金融、医疗和能源管理。随着进一步的研究和开发，SiamTST有望成为时间序列分析领域的一个新基准。