神经网络的基础知识

神经网络

名词解释

多层前馈神经网络:每层与下一层互相连接,不跨层连接,同层之间不互相连接.
误差逆传播算法(bp算法):基于梯度下降策略,以目标的负梯度方向对参数进行调整。
随机梯度下降:计算梯度时加入了随机因素。原因是我们计算梯度的目的是为了全局最优,而每一次梯度的计算是达到了局部最优,如果误差函数有多个局部最优点,则不能保证结果为全局最优。所以需要有可能性跳出局部最优。
深度学习:深层神经网络

模型解释

输入信号->全连接层传递->激活函数->产生输出
BP算法工作流程:

  • 在0-1范围内初始化连接值和阈值
  • 添加输入示例,根据当前参数计算输出
  • 根据输出层的误差,将误差逆向传播到隐藏层(计算梯度)
  • 根据误差更新连接值和阈值
  • 循环2-4步,直到满足限定条件

深度学习训练方式

无监督逐层训练:预训练+微调,是逐层训练每一层的参数,对每层参数找局部最优,联合起来找全局最优,最后用bp算法等调整参数
权共享:以cnn为例

  • 卷积层:卷积滤波器(一组向量),用来从原始向量中提取对应大小的局部特征
  • 采样层:目的是亚采样,在减少数据量的同时保留有用信息
  • 全连接层:fully connected layers,它的作用是把高维数据特征映射到样本标记(!)空间。前层是卷积层,全连接层可以转化为卷积核 = 高/宽的全局卷积。前层是fc,可以转化为 卷积核 = 1/1 的卷积。