摘要

本文介绍了一种名为RepAct（可重参数化的自适应激活函数）的创新技术，旨在解决边缘计算中轻量级神经网络在有限计算资源下的推理和理解能力提升问题。RepAct通过采用多分支激活函数结构，结合可学习的自适应权重，有效地利用模型参数容量，增强轻量级网络的特征提取能力。该方法在图像分类、目标检测和语义分割等多个任务中进行了验证，显著提高了模型性能，尤其是在MobileNetV3-Small网络中，ImageNet100数据集上的Top-1准确率提升了7.92%。RepAct的设计不仅考虑了计算效率，还通过训练时的多分支结构和推理时的单分支结构，实现了模型性能与推理速度的平衡。

原理

RepAct的核心在于其可重参数化的自适应激活函数设计。在训练阶段，RepAct采用多分支激活函数结构，每个分支对应不同的激活函数（如HardSwish和ReLU），并通过可学习的权重因子来调整每个分支的贡献。这些权重因子通过梯度下降法进行优化，使得网络能够自适应地选择最有效的激活函数组合。在推理阶段，这些多分支结构被重参数化为单一的激活函数，从而减少了计算复杂度和内存访问需求，保持了高效的推理性能。这种设计使得RepAct能够在不增加额外计算负担的情况下，提升网络的特征提取和推理能力。

流程

RepAct的工作流程分为训练和推理两个阶段。在训练阶段，输入数据通过多分支激活函数结构，每个分支的激活函数对输入数据进行处理，并通过可学习的权重因子进行加权组合。这些权重因子在训练过程中通过反向传播算法进行优化。在推理阶段，多分支结构被重参数化为单一的激活函数，输入数据直接通过这个简化的激活函数进行处理，从而实现快速高效的推理。例如，在MobileNetV3-Small网络中，使用RepAct替换原有的激活函数后，模型在ImageNet100数据集上的Top-1准确率显著提升。

应用

RepAct的应用前景广泛，特别适用于资源受限的边缘计算环境。由于其高效的计算性能和模型压缩能力，RepAct可以被集成到各种轻量级神经网络中，如MobileNet和ShuffleNet，用于图像分类、目标检测和语义分割等任务。此外，RepAct的自适应特性使其能够适应不同的数据分布和网络结构，增强了模型的灵活性和通用性。随着边缘计算和物联网技术的进一步发展，RepAct有望在智能设备、自动驾驶和工业自动化等领域发挥重要作用。