摘要

本文提出了一种名为参数化基本通用激活函数（PEUAF）的新型超表达激活函数，并通过在多个工业和图像数据集（包括CIFAR10、Tiny-ImageNet和ImageNet）上进行的系统性和综合性实验，展示了其有效性。此外，本文还显著扩展了超表达激活函数系列，证明了任何连续函数都可以通过具有特定超表达激活函数的固定大小网络以任意期望的精度进行近似。具体而言，本文解决了阻碍超表达激活函数发展的两个主要瓶颈：超表达函数的有限识别，这引发了对其广泛适用性的怀疑；以及它们通常奇特的形式，这导致了对其在实际应用中的可扩展性和实用性的怀疑。

原理

PEUAF是一种参数化的激活函数，具有自适应学习正侧频率的能力。其数学定义如下： [ \text{PEUAF}(x) = \begin{cases} \left\lfloor wx - 2\left\lfloor \frac{wx+1}{2} \right\rfloor \right\rfloor & \text{for } x \geq 0, \ \frac{x}{1+x} & \text{for } x < 0, \end{cases} ] 其中 ( w ) 是可训练的参数，代表正侧的频率。PEUAF能够自适应地提取具有不同频率的平稳信号，这使得它能够有效地捕捉和表示具有多样频率成分的信号，这在处理现实世界信号复杂性方面特别有优势。

流程

本文通过在四个工业数据集（1D数据）和三个图像数据集（2D数据）上进行实验，验证了PEUAF的有效性。对于工业数据集，实验显示PEUAF在测试准确性、收敛速度和故障定位能力方面超越了其他激活函数。对于图像数据集，发现结合PEUAF与其他激活函数通常能产生比仅使用单一激活函数更好的性能，尽管单独使用PEUAF不能达到令人满意的性能。因此，PEUAF可以作为网络的一个有价值的附加组件。

应用

PEUAF的应用前景广泛，特别是在需要处理复杂信号和进行精确故障诊断的领域。其自适应频率特性使其在信号处理、故障诊断和时间序列分析等领域具有潜在的应用价值。此外，结合PEUAF与其他先进的神经网络架构，探索其在现实世界场景中的益处，可能会产生有价值的见解。