前馈神经网络 神经网络与深度学习 https:/nndl.github.io/神经网络与深度学习 2 生物神经元 单个神经细胞只有两种状 态：兴奋和抑制 video:structureofbrain神经网络与深度学习 3 人工神经元神经网络与深度学习 4 激活函数的性质 连续并可导（允许少数点上不可导）的非线 性函数。可导的激活函数可以直接利用数值 优化的方法来学习网络参数 激活函数及其导函数要尽可能的简单，有利 于提高网络计算效率。 激活函数的导函数的值域要在一个合适的区 间内，不能太大也不能太小，否则会影响训 练的效率和稳定性。神经网络与深度学习 5 常见激活函数神经网络与深度学习 6 常见激活函数神经网络与深度学习 7 常见激活函数 Swish函数神经网络与深度学习 8 常见激活函数及其导数神经网络与深度学习 9 人工神经网络 人工神经网络主要由大量的神经元以及它们 之间的有向连接构成。因此考虑三方面： 神经元的激活规则 主要是指神经元输入到输出之间的映射关系，一般为非线 性函数。 网络的拓扑结构 不同神经元之间的连接关系。 学习算法 通过训练数据来学习神经网络的参数。神经网络与
