1、 第 5章 线性与非线性最小二乘问题5.1 前言1801年 ,意大利天文学家 朱赛普 皮亚齐 发现了第一颗小行星 谷神星 .经过 40天的跟踪观测后 ,由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星 ,但是根据大多数人计算的结果来寻找谷神星都没有结果 .时年 24岁的 高斯 也计算了谷神星的轨道 .奥地利天文学家 海因里希 奥尔伯斯 根据高斯计算出来的轨道重新发现了谷神星 .高斯 使用的最小二乘法的方法发表于 1809年他的著作 天体运动论 中 .而法国科学家 勒让德 于 1806年独立发现 “ 最小二乘法” ,但因不为时人所知而默
2、默无闻 .两人曾为谁最早创立最小二乘法原理发生争执 .1829年 ,高斯 提供了最小二乘法的优化效果强于其他方法的证明 ,称为 高斯 -马尔可夫定理 .无约束最优化问题最小二乘的形式称为残量函数是 x的线性函数线性最小二乘问题5.2 线性最小二乘问题的解法解线性最小二乘问题解线性最小二乘问题 设 为 阶矩阵阶矩阵 , 为为 m维维向量向量 ,线性最小二乘问题为求线性最小二乘问题为求的最优解的最优解 .其中 为向量的范数为向量的范数 .将将 按范数按范数展开得展开得对称矩阵对称矩阵 至少半正定至少半正定 任一最优解都是全局最优解任一最优解都是全局最优解凸优化问题当向量当向量 b属于矩阵属于矩阵 A的像空间的像空间 则存在则存在 使否则问题的最优否则问题的最优 值不为零值不为零 .设设 为问题的最优解为问题的最优解不一定为零不一定为零 . 一阶必要条件一阶必要条件是问题的最优解是问题的最优解法方程组法方程组A列满秩列满秩正规方程组正规方程组正定正定方程组的解唯一且可表示为方程组的解唯一且可表示为 矩阵矩阵 A的广义逆的广义逆作为一个二次函数的无约束优化作为一个二次函数的无约束优化对方程组的求解，一般采用矩阵对方程组的求解，一般采用矩阵 的的 Cholesky分解分解 ， 其中其中 L下三角矩阵下三角矩阵 如果矩阵如果矩阵 正定正定
