山东经济学院 计算机科学与技术学院 刘兆广 梯度下降法 1山东经济学院 计算机科学与技术学院 刘兆广 梯度下降法又称最速下降法。函数J(a) 在某点a k 的梯度 是一个向量，其方向是J(a) 增长最快的方向。显 然，负梯度方向是J(a) 减少最快的方向。 在梯度下降法中，求某函数极大值时，沿着梯度方向走 ，可以最快达到极大点；反之，沿着负梯度方向走，则 最快地达到极小点。 2山东经济学院 计算机科学与技术学院 刘兆广 3山东经济学院 计算机科学与技术学院 刘兆广 求函数J(a) 极小值的问题，可以选择任意初始点a 0 ,从a 0 出发沿着负梯度方向走，可使得J(a) 下降最快。 s (0) ：点a 0 的搜索方向。 4山东经济学院 计算机科学与技术学院 刘兆广 对于任意点a k ，可以定义a k 点的负梯度搜索方向的单位 向量为: 从a k 点出发，沿着 方向走一步，步长为 ,得到新 点a k+1 ,表示为： 5山东经济学院 计算机科学与技术学院 刘兆广 6山东经济学院 计算机科学与技术学院 刘兆广 因此，在新点a k+1 ，函数J(a) 的函数值为： 所有的a k 组成一个序列，该
