摘要

本文介绍了一种受人类工作记忆启发的元塑性模型，旨在解决深度神经网络（DNN）在持续学习中遇到的灾难性遗忘问题。该模型通过实现从稳定到灵活的不同类型的突触，并随机混合它们，使网络能够在不进行任何预处理或后处理的情况下，成功学习连续的信息流。这种策略使得网络能够在输入长度意外变化的情况下，保持对旧信息和新信息的平衡记忆，同时展示了对抗数据中毒攻击的鲁棒性。

原理

该模型的工作原理基于突触元塑性，即突触的可塑性根据其修改历史和当前神经活动进行调整。通过在网络中引入从极端稳定到极端灵活的突触，网络能够在保持旧记忆的同时，灵活地学习新信息。这种混合突触的设计使得网络能够动态分配记忆资源，以保留旧信息和新信息，从而解决了稳定性-可塑性困境。

流程

模型的训练流程包括使用AlexNet作为深度神经网络的代表模型，其中特征提取网络（Input-Pool5）预训练并冻结，而分类网络（FC6-output）随机初始化。通过引入“突触灵活性”概念，调整单个权重的更新。灵活性值从0到1，其中0表示完全稳定，1表示完全不稳定。训练数据集为两个数字的MNIST数据集，通过连续学习任务评估模型的持续学习能力。模型在每次任务中被训练以识别特定数字的图像，并在整个训练过程完成后进行测试。

应用

该模型在持续学习领域的应用前景广泛，特别是在需要处理不确定数量信息和动态环境变化的场景中。其能够平衡记忆容量和性能，自动过滤不可靠信息，并根据信息频率动态调整记忆资源分配，使其在实际数据应用中具有显著优势。此外，该模型无需对现有网络结构进行重大修改，便于集成到各种现有系统中。