Neural Network with loss and gridient

一些关于神经网络的理解

一些基于深度学习前馈网络的理解

在深度神经网络中

  • 神经网络形状
    • 输入矩阵是 特征 是 数据的张量表示
    • 输出是 模型对标签的 预测值
    • 计算的损失函数(loss)是针对网络最后的输出,网络中各个神经元根据该loss通过链式法则进行梯度下降(总趋势是向loss最小的方向下降,所以每个神经元的方向可能不同)
    • 每个神经元都是数据的一种表示 x
    • 神经网络中的各个边代表的是 权重(weight) w
    • 神经网络中,每个神经元的 偏置(bias) b 对该神经元产生的所有加权特征进行平移,以提供更精确的拟合
    • 神经网络中,每个神经元的输出 a 都是标量
    • 每层的 wx + b = y 得到的都是该层神经元的线性输出 z=y ,通过激活函数得到该层的输出,即下一层的 x=a=activation(z)(激活后的z)
  • 激活函数是在神经元输出前将线性输入非线性化的一种方式
    • 激活函数就是将神经元内部线性变换得到的线性输出(wx + b = y = z)通过非线性变换激活为神经元输出的一种函数,得到下一层的 x
  • 每次反向传播计算梯度前,都需要进行前向传播(计算图),计算当前损失值
    • 在前向传播的过程中,会保存中间产生的每层的输出值(activation(wx… + b)),
    • 反向传播时,从输出层向输入层按链式法则传播
    • 每层神经元根据求导,层层向外求导,activation’ -> (wx… + b)’,同时计算梯度,但不修改权重
      • 梯度 是一个 向量 ,其分量是对 每个参数的 偏导数 用于分别更新各个参数
    • 每个神经元的梯度计算完成后,通过 优化器(一般选择SGD) 根据选定的 学习率 与 求导中产生的梯度 相乘 控制下降步长 进行统一的权重/偏置更新
      • (优化器实际上是通过DataLoader 无干扰选择的部分样本进行前向传播 并更新梯度,以优化反向传播的计算速度的)
        • 网络权重的权重更新仍然的全量的,只不过进行梯度下降更新权重所参考的样本量更精简
        • 得到的梯度值是全样本梯度的一个近似,是无偏估计的应用
      • (学习率,控制了梯度的下降步长)
    • 每层神经元的梯度下降的更新过程是并发的
      • 统一求导,统一更新
  • 损失函数不是网络的一部分 ,而是 网络训练的一部分
    • 构成神经网络输出的就是内部的线性变换与激活函数
    • 损失函数是训练时网络预测与真实参数的度量,是与网络计算分离的
      • 我们的目的是希望损失函数最小,所以在反向传播求导更新参数时需要以损失函数作为起点
      • 损失函数只需要传入两个参数 ,这也是为什么反向传播时会深入网络内部进行参数修改
        • 因为 是通过网络得到的预测量
        • 损失函数 loss 复合了代表了神经网络的函数
  • 最终,神经网络得到的是一个 高度复杂的复合非线性函数
    • 因为神经网络中神经元每层的参数传递,都是一次函数嵌套/复合
1
2
3
4
5
([x0...n]: sigmoid(x)) --w00, w01,...,w0n--> +b ([w0x0...wnxn + b = x1]: sigmoid(x1)) --w10,w11,...,w1n--> activation(w10x10 + w11x11 + ... + w1nx1n + b1) = ans(得到神经元输出)
所以神经网络中一个单元的结构应该是
-----[x]
若出现在输出层,则就是一个输出单元
输入层的特征数据就是一个 [x]