Neural Network with loss and gridient
一些关于神经网络的理解
一些基于深度学习前馈网络的理解
在深度神经网络中
- 神经网络形状
- 输入矩阵是 特征 是 数据的张量表示
- 输出是 模型对标签的 预测值
- 计算的损失函数(loss)是针对网络最后的输出,网络中各个神经元根据该loss通过链式法则进行梯度下降(总趋势是向loss最小的方向下降,所以每个神经元的方向可能不同)
- 每个神经元都是数据的一种表示 x
- 神经网络中的各个边代表的是 权重(weight) w
- 神经网络中,每个神经元的 偏置(bias) b 对该神经元产生的所有加权特征进行平移,以提供更精确的拟合
- 神经网络中,每个神经元的输出 a 都是标量
- 每层的 wx + b = y 得到的都是该层神经元的线性输出 z=y ,通过激活函数得到该层的输出,即下一层的 x=a=activation(z)(激活后的z)
- 激活函数是在神经元输出前将线性输入非线性化的一种方式
- 激活函数就是将神经元内部线性变换得到的线性输出(wx + b = y = z)通过非线性变换激活为神经元输出的一种函数,得到下一层的 x
- 每次反向传播计算梯度前,都需要进行前向传播(计算图),计算当前损失值
- 在前向传播的过程中,会保存中间产生的每层的输出值(activation(wx… + b)),
- 反向传播时,从输出层向输入层按链式法则传播
- 每层神经元根据求导,层层向外求导,activation’ -> (wx… + b)’,同时计算梯度,但不修改权重
- 梯度 是一个 向量 ,其分量是对 每个参数的 偏导数
用于分别更新各个参数
- 梯度 是一个 向量 ,其分量是对 每个参数的 偏导数
- 每个神经元的梯度计算完成后,通过 优化器(一般选择SGD) 根据选定的 学习率 与 求导中产生的梯度 相乘 控制下降步长 进行统一的权重/偏置更新
- (优化器实际上是通过
DataLoader无干扰选择的部分样本进行前向传播 并更新梯度,以优化反向传播的计算速度的)- 网络权重的权重更新仍然的全量的,只不过进行梯度下降更新权重所参考的样本量更精简
- 得到的梯度值是全样本梯度的一个近似,是无偏估计的应用
- (学习率,控制了梯度的下降步长)
- (优化器实际上是通过
- 每层神经元的梯度下降的更新过程是并发的
- 统一求导,统一更新
- 损失函数不是网络的一部分 ,而是 网络训练的一部分
- 构成神经网络输出的就是内部的线性变换与激活函数
- 损失函数是训练时网络预测与真实参数的度量,是与网络计算分离的
- 我们的目的是希望损失函数最小,所以在反向传播求导更新参数时需要以损失函数作为起点
- 损失函数只需要传入两个参数
,这也是为什么反向传播时会深入网络内部进行参数修改 - 因为
是通过网络得到的预测量 - 损失函数 loss 复合了代表了神经网络的函数
- 因为
- 最终,神经网络得到的是一个 高度复杂的复合非线性函数
- 因为神经网络中神经元每层的参数传递,都是一次函数嵌套/复合
1 | ([x0...n]: sigmoid(x)) --w00, w01,...,w0n--> +b ([w0x0...wnxn + b = x1]: sigmoid(x1)) --w10,w11,...,w1n--> activation(w10x10 + w11x11 + ... + w1nx1n + b1) = ans(得到神经元输出) |