摘要

本文提出了一种新颖的架构设计，用于在复杂动态场景中利用程序性领域知识直接作为数据驱动模型的计算图的一部分，实现视频预测。基于新的挑战性场景，本文展示了最先进的视频预测模型在复杂动态设置中面临的困难，并强调引入先验过程知识使得学习问题变得可行。本文的方法导致在模型中的数据驱动方面和专门的程序性知识模块之间学习一个符号可寻址的接口，该接口在下游控制任务中得到利用。

原理

本文提出的架构设计的核心在于将程序性知识作为独立模块集成到整体架构中。具体来说，该架构包括三个主要组件：1) 初始视频帧编码器，将观察到的帧嵌入到合适的潜在表示中；2) 程序性知识模块 P，将帧的潜在表示转换到下一时间步；3) 最终视频帧解码器，将潜在表示转换回图像表示。程序性知识模块 P 的核心是通过结合集成的程序性函数 F 和深度时空预测模型 R，基于当前步骤的潜在表示 z 获取下一时间步的潜在帧表示 ˆz。这种设计允许模型在有限的数据显示中仍然能够提供有意义的预测，并且通过这种接口，模型在目标领域中关于集成函数参数的测试时间提供了控制，为下游控制任务提供了潜在基础，并允许在新的场景动态中调整模型。

流程

本文的工作流程包括以下步骤：首先，使用初始视频帧编码器将前 n 个视频帧编码为场景的初始潜在表示。然后，模型通过自动回归预测方案，在不需要外部输入的情况下自动预测接下来的 m 个帧。学习过程由重建损失 Lrec 指导，该损失计算所有预测帧 ˆV 和真实帧 V 之间的差异。程序性知识模块 P 通过将集成的程序性函数 F 与深度时空预测模型 R 结合，实现潜在帧表示的转换。最后，视频帧解码器将潜在表示转换回图像表示。整个过程通过自动回归方式不断迭代，直到预测出所需的后续帧。

应用

本文提出的方法在视频预测领域具有广泛的应用前景，特别是在需要理解复杂领域过程的场景中，如视觉问答（VQA）、模型预测控制（MPC）和系统识别等。通过集成程序性领域知识，模型不仅能够处理复杂动态场景，还能在数据稀缺的情况下提供准确的预测，从而在医疗等专业领域具有重要应用价值。此外，该模型在控制任务中的可控性增强，为机器人导航等视觉机器人任务提供了新的可能性。