摘要

本文探讨了志愿者边缘云（VEC）环境中数据密集型科学工作流的调度问题。由于VEC资源的分布性和异构性，传统的集中式任务调度面临挑战。论文提出了一种基于强化学习（RL）的数据密集型科学工作流调度方法，该方法考虑了工作流需求、VEC资源对工作流的偏好以及多样化的VEC资源政策，以确保稳健的资源分配。通过将长期平均性能优化问题建模为马尔可夫决策过程（MDP），并采用基于事件的异步优势行动者-评论家（A3C）RL方法求解，论文展示了其在满足工作流需求、VEC偏好和资源利用方面的优势。

原理

论文的核心在于利用强化学习（RL）来优化数据密集型科学工作流的调度。RL通过与环境的交互学习，即使在资源可用性和任务需求信息不完全的情况下，也能适应资源分配策略。论文采用的A3C算法是一种异步的行动者-评论家方法，通过并行代理在不同环境中学习，加速学习过程并处理大规模观测空间。该算法通过评估状态的价值和指导行动选择来优化长期平均性能，确保资源分配既满足工作流需求，又考虑VEC资源的偏好和政策。

流程

论文提出的RL-driven任务调度方法的工作流程如下：

1. 任务提交：用户提交数据密集型工作流任务。
2. 状态更新：调度器根据提交的任务和VEC节点的队列状态更新系统状态。
3. 行动选择：基于当前状态，调度器使用A3C算法选择行动，即决定将任务分配给哪个VEC节点或拒绝任务。
4. 奖励评估：根据任务分配的结果，评估即时的满意度得分作为奖励。
5. 策略更新：通过收集的经验，更新行动者和评论家的网络参数，优化未来的决策。 例如，在模拟中，调度器成功地将复杂的PGen工作流任务分配给合适的VEC节点，满足了其严格的QoS和安全要求。

应用

论文提出的RL-driven任务调度方法在志愿者边缘云环境中具有广泛的应用前景。它可以应用于需要高效、灵活资源管理的科学计算、生物信息学、高能物理和医疗保健等领域。随着VEC环境的扩展和多样化，该方法能够适应动态变化，优化资源分配，提高工作流执行的效率和安全性。