摘要

本文介绍了一种基于平衡残差衰减率的自适应权重方法，用于物理信息神经网络（PINNs）和物理信息深度算子网络（PIDeepONets）。该方法解决了复杂问题中训练这些网络时遇到的精度不足和效率低下的挑战。传统的物理信息神经网络在训练过程中，不同训练点的残差收敛速度存在显著差异，导致整体解的收敛受最慢收敛速度的点主导。为了平衡不同训练点的残差衰减率，本文提出了一种点对点的自适应权重方法，并通过大量数值实验证明了该方法在提高预测精度、加快收敛速度、降低训练不确定性、减少计算成本和简化超参数调整方面的优势。

原理

本文提出的自适应权重方法基于残差的逆衰减率（irdr），该指标用于描述残差的收敛速度。通过为收敛速度较慢的残差分配更大的权重，该方法能够平衡不同训练点的残差衰减率。此外，该方法还引入了一个尺度因子，以保持学习率接近其最大值，从而加速训练过程。数值实验表明，该方法在多个基准问题上均能显著提高预测精度和训练效率。

流程

自适应权重方法的工作流程包括初始化权重和尺度因子，然后在每个训练步骤中更新这些参数。具体步骤如下：

1. 初始化权重和尺度因子为1。
2. 在每个训练步骤中，计算每个训练点的残差和逆衰减率。
3. 根据逆衰减率更新权重，确保权重的平均值为1。
4. 计算尺度因子的最大值，并使用指数移动平均方法更新尺度因子。
5. 使用更新后的权重和尺度因子计算损失函数，并通过反向传播更新网络参数。

应用

该自适应权重方法不仅适用于PINNs和PIDeepONets，还可以扩展到其他深度学习框架，前提是残差在训练过程中呈现指数衰减。此外，结合自适应采样方法，该方法在处理具有陡峭梯度的问题时具有进一步增强的潜力。