现代神经元激活函数对比

全面对比常用激活函数的函数形态和梯度特性

Sigmoid | Tanh | ReLU | LeakyReLU | ELU | Swish