摘要

本文介绍了一种新颖的神经常微分方程(NODE)训练方法，旨在稳健地学习混沌动力系统。该方法通过将训练数据轨迹分割成多个不重叠的时间窗口，并进一步惩罚预测轨迹在时间窗口间的间断性，有效解决了混沌系统中非凸性和梯度爆炸的问题。此方法首先在Lorenz方程上进行了验证，展示了其如何改善损失景观并加速优化收敛。随后，该算法被应用于Kuramoto-Sivashinsky方程和二维Kolmogorov流等混沌系统，证明了其在短期轨迹预测和不变统计量方面的可行性。

原理

本文提出的多步惩罚神经常微分方程(MP-NODE)方法，通过引入中间初始条件并分割时间域，有效避免了混沌优化中的梯度爆炸问题。该方法在每个时间窗口内定义一个神经网络作为方程的右侧，并通过改变损失函数，增加了一个惩罚损失项，该项惩罚了在时间窗口间的预测轨迹的间断性。通过这种方式，MP-NODE能够在保持计算成本与传统NODE相似的同时，实现对混沌系统长期稳定预测的学习。

流程

MP-NODE的工作流程包括以下步骤：首先，将时间域分割成多个基于系统最快Lyapunov时间尺度的时间窗口；其次，在每个时间窗口内定义一个神经网络模型；然后，通过计算损失函数，包括基础损失和惩罚损失，来优化模型参数；最后，通过逐步增加惩罚强度，优化模型以减少间断性并提高预测准确性。例如，在Lorenz-63系统中，该方法通过逐步增加惩罚强度，成功地将目标函数降至理论最小值。

应用

MP-NODE方法在预测高维动力系统，如地球科学和工程领域中的应用前景广阔。其能够处理混沌系统的长期稳定预测问题，不仅适用于短期轨迹预测，还能捕捉到系统的不变统计量，这对于理解和预测复杂动态系统具有重要意义。此外，该方法的通用性意味着它可以扩展到依赖多步损失计算和时间反向传播的其他时间序列预测技术中。