Swish与GELU函数曲线对比
现代自门控激活函数的非单调特性
Swish(x) = x·σ(βx)
函数曲线
导数曲线
β =
1.0
↻ 重置