2.1 全神经网络整体结构全连接神经网络输入层输入的数据隐藏层图中中间的神经元都是我们的隐藏层输出层输出的结果2.2 全连接神经网络的结构单元神经元神经网络的单元结构 输入往往有很多输入x1 x2 x3 参数×w12 w13 去求和 b1偏置。最后套上激活函数得a。我们希望我们的y是正确的但是输入是确定的所以我们要通过w和b找出一组最优的参数使我们的结果最优。那也可以假设我们第一层神经元是a1第二层就是a2一层一层进行传递直到最后一层结果接近我们的真实值。无论是做分类还是做回归我们做的都是这个事情。2.3 为什么要加入非线性激活函数不同的激活函数对网络的影响是很大的。往往激活函数都是非线性的相对的也有线性的万事不绝对从不专业的角度解释线性函数就是函数在画图的时候是一条直线为方便理解并不专业吗那非线性就不是一个直线比如说二次函数指数函数往往使用非线性的激活函数会提高我们隐藏层的效率。假设我们神经网络是线性函数ykx神经网络有三成那就是嵌套了3次假设c2k8会发现这个线性函数是等价的那假设我们的神经网络有100层那最后不就等价于一层那就无法发挥我们神经网络层数深的这个效果了所以往往神经网络越深效果越好但是也并不是绝对的resnet2.4 Sigmoid 激活函数学习激活函数最主要看图长什么样子公式长什么样子导数是什么样子因为在我们深度学习当中导数是为了求我们这个参数的看导数图Sigmoid 导数最大值只有 0.25。 当z很大或很小落在函数左右两端饱和区y接近 0 或 1(y(1-y)约等于0)梯度几乎变成 0。 多层网络反向传播时梯度不断相乘会越来越小前面层的权重几乎不更新网络学不到东西。输出永远大于 0。 如果上一层输出全是正数传给下一层神经元算出来的梯度会全部同号权重 w 会全部一起增大 / 一起减小震荡收敛变慢。一方面是梯度本身最大值就 0.25梯度本身就偏小 另一方面因为输出恒正带来的梯度方向问题参数更新来回震荡收敛速度慢训练耗时更长。2.5 双曲正切激活函数 Tanh 函数通过函数图像来看值域实在-1到1之间导数图像在0-1之间图像与sigmod函数都长的差不多寻找最优的w和b是通过导数去找的该激活函数的导数接近0的位置会更大一点那么训练就会比sigmod函数要快很多sigmod有的其他优势和问题该函数也会有1.依然存在梯度消失问题看导数图当z很大或者很小函数进入饱和区y趋近 1 或 - 1。代入导数公式导数约等于0多层网络反向传播时梯度不断相乘梯度会变得极小浅层权重很难更新。为什么 Tanh 训练比 Sigmoid 更快核心有两个原因最大导数更大零中心化解决梯度同号震荡1️⃣ 最大梯度值不一样 Sigmoid\(yy(1-y)\)最大导数只有 0.25z0 处Tanh\(y1-y^2\)最大导数是 1z0 处梯度下降更新公式梯度越大每次参数 w 更新的步长就越大。 在输入落在 z0 附近非饱和区的时候Tanh 梯度是 sigmoid 的 4 倍一次更新走更远收敛更快。2️⃣ 最重要Tanh 是 0 中心化值域 (-1,1)Sigmoid 输出恒 00,1假设隐藏层所有神经元都用 Sigmoid Sigmoid 输出永远 0那么传到下一层的输入全部是正数。 经过链式求导后算出来的所有梯度符号全部相同。 权重 w 只能一起增加或者一起减少参数更新来回震荡走弯路收敛很慢。而 Tanh 输出是 (-1,1)输出有正有负均值接近 0。 下一层得到的输入正负都有梯度可以有正有负。 权重可以有的增大、有的减小参数更新方向更灵活不容易震荡收敛更快。“我们训练的目标确实是收敛到损失函数极小点此时梯度≈0 但是「收敛」这个词不只代表「最终抵达最低点」还包含用多快的路径走到最低点。”下面拆开讲清楚 Sigmoid 为什么震荡、Tanh 为什么更稳1. 目标找损失最低点梯度≈0梯度下降的目标不断更新 w直到也就是损失的谷底。 但路径有好坏之分坏路径来回折返、左右摇摆震荡走很久才到谷底好路径方向稳定稳步向谷底前进2. Sigmoid 输出全为正数带来的震荡原理假设上一层所有神经元用 Sigmoid输出 \(a0\)。下一层的输入是\(z w*a b\)链式求导因为 a 永远 0 这一层所有权重的梯度符号全部一模一样如果梯度是负所有 w 一起变大如果梯度是正所有 w 一起变小想象二维损失曲面你只能全部向右走或者全部向左走不能一部分左、一部分右。就像下山你只能横向整体移动没法灵活调整方向会出现 一步走多了越过谷底下一步反向又往回跳 →来回震荡绕弯路。 虽然最终理论上也能收敛到最低点但是需要更多迭代很慢。3. Tanh 输出有正有负解决这个问题此时 a 可正可负不同 w 对应的梯度符号可以不一样。 一部分权重梯度为正一部分为负 有的 w 增大有的 w 减小。相当于下山的时候可以自由调整每个方向的步伐不会强制所有参数同步同向更新震荡更少更快抵达损失谷底。/p
2.1 全神经网络整体结构全连接神经网络输入层输入的数据隐藏层图中中间的神经元都是我们的隐藏层输出层输出的结果2.2 全连接神经网络的结构单元神经元神经网络的单元结构 输入往往有很多输入x1 x2 x3 参数×w12 w13 去求和 b1偏置。最后套上激活函数得a。我们希望我们的y是正确的但是输入是确定的所以我们要通过w和b找出一组最优的参数使我们的结果最优。那也可以假设我们第一层神经元是a1第二层就是a2一层一层进行传递直到最后一层结果接近我们的真实值。无论是做分类还是做回归我们做的都是这个事情。2.3 为什么要加入非线性激活函数不同的激活函数对网络的影响是很大的。往往激活函数都是非线性的相对的也有线性的万事不绝对从不专业的角度解释线性函数就是函数在画图的时候是一条直线为方便理解并不专业吗那非线性就不是一个直线比如说二次函数指数函数往往使用非线性的激活函数会提高我们隐藏层的效率。假设我们神经网络是线性函数ykx神经网络有三成那就是嵌套了3次假设c2k8会发现这个线性函数是等价的那假设我们的神经网络有100层那最后不就等价于一层那就无法发挥我们神经网络层数深的这个效果了所以往往神经网络越深效果越好但是也并不是绝对的resnet2.4 Sigmoid 激活函数学习激活函数最主要看图长什么样子公式长什么样子导数是什么样子因为在我们深度学习当中导数是为了求我们这个参数的看导数图Sigmoid 导数最大值只有 0.25。 当z很大或很小落在函数左右两端饱和区y接近 0 或 1(y(1-y)约等于0)梯度几乎变成 0。 多层网络反向传播时梯度不断相乘会越来越小前面层的权重几乎不更新网络学不到东西。输出永远大于 0。 如果上一层输出全是正数传给下一层神经元算出来的梯度会全部同号权重 w 会全部一起增大 / 一起减小震荡收敛变慢。一方面是梯度本身最大值就 0.25梯度本身就偏小 另一方面因为输出恒正带来的梯度方向问题参数更新来回震荡收敛速度慢训练耗时更长。2.5 双曲正切激活函数 Tanh 函数通过函数图像来看值域实在-1到1之间导数图像在0-1之间图像与sigmod函数都长的差不多寻找最优的w和b是通过导数去找的该激活函数的导数接近0的位置会更大一点那么训练就会比sigmod函数要快很多sigmod有的其他优势和问题该函数也会有1.依然存在梯度消失问题看导数图当z很大或者很小函数进入饱和区y趋近 1 或 - 1。代入导数公式导数约等于0多层网络反向传播时梯度不断相乘梯度会变得极小浅层权重很难更新。为什么 Tanh 训练比 Sigmoid 更快核心有两个原因最大导数更大零中心化解决梯度同号震荡1️⃣ 最大梯度值不一样 Sigmoid\(yy(1-y)\)最大导数只有 0.25z0 处Tanh\(y1-y^2\)最大导数是 1z0 处梯度下降更新公式梯度越大每次参数 w 更新的步长就越大。 在输入落在 z0 附近非饱和区的时候Tanh 梯度是 sigmoid 的 4 倍一次更新走更远收敛更快。2️⃣ 最重要Tanh 是 0 中心化值域 (-1,1)Sigmoid 输出恒 00,1假设隐藏层所有神经元都用 Sigmoid Sigmoid 输出永远 0那么传到下一层的输入全部是正数。 经过链式求导后算出来的所有梯度符号全部相同。 权重 w 只能一起增加或者一起减少参数更新来回震荡走弯路收敛很慢。而 Tanh 输出是 (-1,1)输出有正有负均值接近 0。 下一层得到的输入正负都有梯度可以有正有负。 权重可以有的增大、有的减小参数更新方向更灵活不容易震荡收敛更快。“我们训练的目标确实是收敛到损失函数极小点此时梯度≈0 但是「收敛」这个词不只代表「最终抵达最低点」还包含用多快的路径走到最低点。”下面拆开讲清楚 Sigmoid 为什么震荡、Tanh 为什么更稳1. 目标找损失最低点梯度≈0梯度下降的目标不断更新 w直到也就是损失的谷底。 但路径有好坏之分坏路径来回折返、左右摇摆震荡走很久才到谷底好路径方向稳定稳步向谷底前进2. Sigmoid 输出全为正数带来的震荡原理假设上一层所有神经元用 Sigmoid输出 \(a0\)。下一层的输入是\(z w*a b\)链式求导因为 a 永远 0 这一层所有权重的梯度符号全部一模一样如果梯度是负所有 w 一起变大如果梯度是正所有 w 一起变小想象二维损失曲面你只能全部向右走或者全部向左走不能一部分左、一部分右。就像下山你只能横向整体移动没法灵活调整方向会出现 一步走多了越过谷底下一步反向又往回跳 →来回震荡绕弯路。 虽然最终理论上也能收敛到最低点但是需要更多迭代很慢。3. Tanh 输出有正有负解决这个问题此时 a 可正可负不同 w 对应的梯度符号可以不一样。 一部分权重梯度为正一部分为负 有的 w 增大有的 w 减小。相当于下山的时候可以自由调整每个方向的步伐不会强制所有参数同步同向更新震荡更少更快抵达损失谷底。/p
