1、深度学习简介主要内容 现状 神经网络 深度学习介绍常见模型 Stacked Auto-Encoder Convolutional Neural Network Deep Belief Network 杂项现状 2006年 7月 ，机器学习界的著名学者 Geoffery Hinton 和他的学生 Ruslan Salakhutdinov在 Science 上发表了一篇关于深层神经网络训练算法的 文章， 引起了 深度 学习在学术界和工业界的 关注； 2012年 5月 到 10月 ，为了回应对于深度学习方法的质疑，也为了测试深度 学习 算法的真实效果， Geoffery Hinton和 他的另外一个
2、学生 Alex Krizhevsky参加了 ImageNet大规模 视觉识别 竞赛，以大幅领先优势取得第一名； 2012年 6月 ，机器学习和人工智能的知名学者 Andrew Ng等 人与谷歌经过 多年的 合作 ，在 语音识别与图像目标识别方面取得了突破性的 进展； 2012年 11月，在二十一世纪计算大会上，微软首席研究官 Rick Rashid展示 了一套基于深层神经网络模型的语音识别系统，能实时流畅翻译 ，切显著 地降低了错误率，这在语音识别 领域 是一个 突破 ； 2013年 1月 ，百度创始人兼 CEO李彦宏 在年会上宣布将成立百度 研究院； 2013年 7月 ，谷歌收购了深度学习初
3、创公司 DNNResearch Inc.，公司员工 GeofferyHinton和 他的两个学生Alex Krizhevsky， Ilya Sutskever 加入 谷歌；现状 2013年 10月 ，雅虎收购图像识别公司 LookFlow，正式加入深度学习研究 队伍； 2015到 2016年， 苹果 收购人工智能研究公司 VocalIQ， Percepti， Emotient， Turi等，强化 Siri和摄像等应用上的优势； 2015年 11月 ，谷歌发布人工智能系统 TensorFlow并 宣布开放 源代码； 2016年 5月 ，亚马逊发布了一个开源的使用 GPU训练 和部署深层 神经网络
4、开 源 工具 DSSTNE； 2016年 8月 ，英特尔开发者大会上，英特尔宣布将于 2017年 推出专门为 人工智能 和深度学习而设计的最新一代 CPU Intel Xeon Phi处理器 ，代号 Knights Mill， 英特尔 宣称其运算能力比对手 NVIDIA的 Kepler 系列 GPU产品 快两倍以上 。 2016年 10月， NVIDIA 发布了新版本的通用并行计算架构库：统一计算设备架构（ Compute Unified Device Architecture， CUDA） 8.0，以及深度学习 专用 GPU 加速库： cuDNN 5.0； 2016年 11月，在 2016全
5、球超级计算机大会（ SC16）上， AMD 宣布推出新版 Radeon开放计算平台（Radeon Open Compute Platform， ROCm），以及用于 GPU 加速器的免费开源 库 MIOpen。主要内容 现状 神经网络 深度学习介绍常见模型 Stacked Auto-Encoder Convolutional Neural Network Deep Belief Network 杂项神经网络 在机器学习与认知识别领域中，人工神经网络是一类模拟生物神经网络的模型，基于大量训练数据，用来预测（决策问题）或估计目标函数模型。人工神经网络一般呈现为相互关联的 “神经元 ”之间相互交换信
6、息的系统。在神经元的连接中包含有可以 根据训练样本 调整的权重，使得神经网络可以自适应输入样本，并且拥有学习能力。 作为机器学习方法的一种， 神经网络算法可以用来处理一系列传统机器方法无法处理，或者处理难度较大的问题，包括计算机视觉、语音识别等任务。基本结构 神经网络的基本单元是神经元。通过对所有输入 进行 加权求和，之后进行非线性映射得到该神经元的 输出值 。 神经网络按照拓扑结构，大体分为层状与网状两大类。常用激活函数：ReLU函数S型函数双曲正切 函数神经元模型神经网络输出：激活函数：神经网络BP网络 前馈网络的逐层计算： 输入值从输入层神经元通过加权连接逐层前向传播，经过隐含层，最后到达输出层得到输出。在信号的前向传播过程中，网络的权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态。 反向传播算法： 网络的实际输出与期望输出之间的差值即为误差信号。误差信号由输出端开始逐层反向传播。在误差信号反向传播的过程中，网络的权值根据误差的梯度进行调节，通过权值的不断修正使网络的实际输出更加接近期望输出。前馈网络结构
