Swish与GELU函数曲线对比

现代自门控激活函数的非单调特性

Swish(x) = x·σ(βx)
1.0