摘要

本文提出了一种基于演员-评论家强化学习方法来预测中点并生成测地线（最短路径）的新框架。该方法适用于具有无穷小定义度量的连续流形上的所有点对的最短路径查找。通过递归预测中点并结合演员-评论家方法，该方法在局部和全局路径规划任务中均优于现有方法。文章通过理论证明和实验验证了该方法的有效性，并展示了其在多个实际应用场景中的潜力。

原理

该方法的核心在于通过递归预测中点来生成测地线。首先，定义一个伪准度量空间，并在其中训练一个演员网络（actor）来预测给定点对的中点，同时训练一个评论家网络（critic）来预测点对之间的距离。这两个网络通过迭代过程相互学习，评论家网络根据演员网络生成的路径长度来调整其距离预测，而演员网络则根据评论家网络的反馈来优化中点预测。通过这种方式，系统能够在不知道全局距离函数的情况下，有效地生成最短路径。

流程

1. 初始化演员和评论家网络的参数。
2. 收集数据：通过演员网络生成路径，并计算路径上相邻点对的距离。
3. 更新评论家网络：使用收集的数据来训练评论家网络，使其能够更准确地预测距离。
4. 更新演员网络：根据评论家网络的预测结果来调整演员网络，使其能够更好地预测中点。
5. 重复步骤2-4，直到网络参数收敛或达到预定的训练次数。
6. 使用训练好的网络进行路径规划。

应用

该方法在机器人运动规划、物理系统、Wasserstein距离计算以及图像变形等多个领域具有广泛的应用前景。特别是在需要复杂路径规划的场景中，如机器人避障、无人机导航等，该方法能够提供高效且精确的路径解决方案。