网络优化与正则化 神经网络与深度学习 https:/nndl.github.io/神经网络与深度学习 2 机器学习的矛与盾 正则化 优化 降低模型复杂度 经验风险最小 深度学习神经网络与深度学习 3 网络优化神经网络与深度学习 4 网络优化的难点 结构差异大 没有通用的优化算法 非凸优化问题 参数初始化 逃离局部最优神经网络与深度学习 5 高维空间的非凸优化问题 鞍点 平摊底部神经网络与深度学习 6 VISUALIZING THE LOSS LANDSCAPE OF NEURAL NETS https:/www.cs.umd.edu/tomg/projects/landscapes/神经网络与深度学习 7 优化算法：MiniBatch 几个关键因素： 小批量样本数量 梯度 学习率神经网络与深度学习 8 批量大小的影响 小批量梯度下降中，每次选取样本数量对损失下降的影响。神经网络与深度学习 9 学习率 https:/www.jeremyjordan.me/nn-learning-rate/神经网络与深度学习 10 如何改进？ 学习率 学习率衰减 Adagrad Adadelta RMSp
