引言 RELU 函数+Sigmoid 函数+SELU 函数 RELU 函数 f(x)=max(0,x) 将所有的负值置为0，而其余的值不变。 缺点：一个很大的梯度流过一个Relu神经元，更新过梯度后，那么这个神经元对大部分数据都没有激活作用了，因此梯度就是0。会造成神经元的死亡。 Sigmoid 函数 SELU 函数
