摘要

本文介绍了一种名为Mode-switching Graph ODE (MS-GODE)的新型框架，旨在解决在不断学习多个具有不同动态特性的系统时，机器学习模型容易遗忘先前学习动态的问题。MS-GODE通过将系统特定的动态编码为模型参数上的二进制掩码，能够在推理阶段根据观测数据选择最自信的掩码，从而识别系统并预测未来的轨迹。该框架在生物动态系统上进行了系统性的任务配置研究，并与现有技术进行了比较，显示出其优越性。此外，本文还构建了一个新的生物动态系统基准，丰富了动态系统机器学习的研究领域。

原理

MS-GODE框架的核心在于其能够持续学习不同系统的动态，并通过二进制掩码来避免灾难性遗忘。该框架采用变分自编码器（VAE）结构，首先通过编码器网络将观测数据编码为潜在状态，然后利用基于ODE的生成器在潜在空间中预测未来系统轨迹，最后通过解码器网络将预测的潜在状态映射回数据空间。为了在不同类型的系统动态中进行持续学习，MS-GODE固定模型权重，并在训练期间为每个系统优化一个独特的二进制掩码。在测试阶段，选择最合适的掩码应用于骨干网络，形成系统特定的子网络，从而避免灾难性遗忘。

流程

MS-GODE的工作流程包括三个主要步骤：首先，编码器网络将观测数据编码为潜在空间中的状态；其次，基于ODE的生成器预测潜在空间中的未来系统状态；最后，解码器网络将这些潜在状态解码回数据空间，以生成预测结果。在训练过程中，模型通过优化二进制掩码来学习每个系统的特定动态，而在推理阶段，模型根据输入数据选择最合适的掩码，以确保准确预测。例如，在生物细胞系统的建模中，模型能够根据细胞动态的变化选择相应的掩码，从而准确预测细胞的未来状态。

应用

MS-GODE框架的应用前景广泛，特别是在需要处理多个动态系统或在系统动态随时间变化的场景中。例如，在生物学研究中，该框架可以用于预测细胞动态的变化，或在物理学中用于模拟多体系统的动态。此外，该框架还可以应用于任何需要持续学习新动态而不遗忘旧知识的领域，如自动驾驶、机器人控制和复杂系统管理等。