摘要

本文介绍了一种在边缘设备上进行持续深度学习的新方法，通过子网络之间的随机局部竞争来促进稀疏性，显著减少深度网络的内存占用和计算需求。具体而言，该方法提出了一种包含竞争单元的深度网络结构，这些单元在处理新任务时以随机方式竞争，以赢得任务特定表示的生成权。这种网络组织方式在每个网络层中产生稀疏的任务特定表示，稀疏模式在训练期间获得，并在不同任务之间不同。该方法特别适用于资源受限的边缘设备，提供了一种高效且可扩展的持续学习解决方案。

原理

该论文提出的方法基于随机局部竞争框架，通过在训练过程中集成一个竞争机制来促进稀疏性。具体来说，网络的每一层被分割成多个竞争单元块，每个块内的单元通过随机竞争来决定哪个单元专门处理当前任务。这种竞争机制通过学习每个块内单元的分布来实现，只有赢得竞争的单元才会产生非零输出，从而使得生成的表示变得稀疏，并且这种稀疏模式是任务特定的。此外，该方法在训练期间利用学习到的竞争后验来引入权重梯度的稀疏性，从而在深度网络训练中仅更新一小部分权重，这对于边缘设备的计算资源极为重要。

流程

在训练阶段，网络的每一层被分割成多个竞争单元块，每个块内的单元通过随机竞争来决定哪个单元专门处理当前任务。在推理阶段，对于给定任务，网络保留每个块中具有最大隐藏赢家指示变量后验的单元，并剪枝掉其余网络单元的权重。具体来说，推理过程中的前向传递是通过计算任务特定的离散掩码来执行的，这样只有赢得竞争的单元才会参与后续的计算，从而显著减少了网络在推理时使用的权重数量。

应用

该方法特别适用于资源受限的边缘设备，如智能手机或其他边缘计算设备，提供了一种高效且可扩展的持续学习解决方案。通过显著减少内存使用和加速推理过程，该方法在图像分类等任务中展现出优越的性能，未来可能在更多需要高效处理能力的边缘计算场景中得到广泛应用。