在深度学习中，激活函数扮演着至关重要的角色，它决定了神经网络是否能有效捕捉复杂的非线性关系。常见的激活函数有多种，各有优劣。
首先登场的是经典的Sigmoid函数sigmoid(x) = 1 / (1 + e^-x)，它的输出范围在(0, 1)，非常适合概率预测任务。但因其梯度消失问题，在深层网络中表现不佳。接着是ReLU（Rectified Linear Unit）ReLU(x) = max(0, x)，以其简单高效著称，解决了梯度消失问题，但在负值区间梯度为零可能导致“神经元死亡”。为了改进ReLU，出现了Leaky ReLU和PReLU，它们允许负值区域也具有小斜率，避免了神经元完全死亡的问题。
此外，还有Tanh函数tanh(x) = (e^x - e^-x) / (e^x + e^-x)，其输出范围为(-1, 1)，适合归一化数据。近年来，Swish和GELU等新激活函数也被广泛应用，进一步提升了模型性能。
选择合适的激活函数，是构建高性能神经网络的关键之一。💪