高级大数据人才培养丛书之一，大数据挖掘技术与应用刘鹏 主编 赵海峰 副主编BIG DATA刘 鹏 张 燕 总主编深度学习第五章深度学习主流模型5.15.2卷积神经网络5.3循环神经网络习题全国高校标准教材xxx姊妹篇，剖析xxx技术和实战应用绪论of 47 25.1神经网络技术的历史与发展第五章 深度学习模型早期的神经网络是一个浅层的学习模型（包含一个输入层、一个隐层及一个输出层），它有大量的参数，在训练集上有较好的表现，但实际应用时其识别率并没有比其他模型（如支持向量机、Boosting等）体现出明显的优势神经网络在训练时采用误差反向传播算法（Back Propagation，简称BP算法），使用梯度下降方法在训练过程中修正权重减少网络误差。在层次深的情况下性能变得很不理想，传播时容易出现所谓的梯度弥散Gradient Diffusion或称之为梯度消失（Vanishing Gradient Problem），根源在于非凸目标代价函数导致求解陷入局部最优，且这种情况随着网络层数的增加而更加严重，即随着梯度的逐层不断消散导致其对网络权重调整的作用越来越小。所以只能转而处理浅层结构（通常
