1、1、粗差定位及方法分类粗差定位是在平差过程中,自动发现粗差的存在,并正确的指出粗差的位置,从而将它从平差中剔除。它不仅仅是个理论问题,而更主要的是算法上的问题,要针对不同平差系统和可能出现的不同类型的粗差,进行由程序控制的自动探测过程。处理观测值中的粗差有两种不同的模型,一种是所谓“数学期望平移”模型,另一种是“方差扩大”模型。一、数学期望平移模型这种方法的思想是在正式进行最小二乘平差之前探测和定位粗差,然后剔除含粗差的观测值,得到一组比较净化的观测值,然后再作最小二乘平差。含粗差的观测值可以看作与其它同类观测值具有相同的方差、不同的期望的一个子样,即: (1)iL),(2iEN (2)j ,
2、2jgj为正常观测值, 为含粗差的观测值。iLjL它意味着将粗差视为函数模型的一部分。可见,平均漂移模型是将含粗差的观测值 看作为与正常观测值 有相同方差不同期望。对此模j iL型,可根据平差的结果严格构建相应的统计量,在给定得显著水平 下,0便可与临界值 相比较,从而判断相应的观测值是否包含粗差。aK二、方差扩大模型含粗差的观测值可以看作与其它同类观测值具有相同的期望,但不同的方差的子样,含粗差观测值的方差将异常得大,即: (3)iL),(2iEN (4)j 1,2aj可见,方差扩大模型是将含粗差的观测值 与正常观测值 视为有jLiL相同的期望, 不同的方差,而且 通常比 1 大的多。2a因
3、此,平均漂移模型可以解释为将粗差归入函数模型,方差扩大模型则解释为将粗差归入随机模型。2、粗差归入函数模型时的粗差检测方法当粗差归入函数模型时,单个粗差的检测方法即知名的数据探测法。一、经典粗差检测法对于观测数据中可能存在的粗差进行检验,传统上大多采用几何条件闭合差 。在常规大地测量中,由于粗差和极限误差的界限难以清晰W的区分,因此用 探测粗差存在着一定的困难,特别是对于那些接近极限误差的 ,情况更是如此。用残差(改正数) 检测粗差对于常规大V地测量、卫星大地测量和航空摄影测量都适用,它不但可以检验观测列中存在着的粗差,而且还可以检验起始数据粗差和数据传输过程中的其它可能出现的粗差。利用残差
4、检验粗差的经典方法是采用 规则,这里 ,当V3003iV时,则认为第 个观测值 存在粗差。iiL这就是传统上用残差 检验粗差的意义。V二、数据探测法上述方法检验粗差,在理论上是不严格的。因为 V,故对 V 进行标准化,应当用)(,0QHIN(4)iirV10而不应该用 ,即0, (5)iViiWi)1,(N而不是 iiiV0用 作为探测粗差的统计量,是 Baarda 数据探测法理论的核心。采i用目前国际上公认的 Baarda 所选用的显著水平 ,由正态分布可01.查得(6)3.iViiW即以 作为零假设 ,若 ,则接受零假设,也就i)1,0(N0HiVi3.是检验结果为在该显著水平下不存在粗差
5、;反之,若 ,则拒绝iVi3.,判断其有 粗查存在。0H用 作为探测粗差的统计量,有三种情况:iW(1) 在已知单位权方差的情况下,有下列正态变量标准化残差:(7)10itvivii rqwiii (2) 当未知单位权方差时,得到下列 t 分布的检验量: (8)ivtiiqt1unt其中 ( 9))(22 itTt rVPVBaarda 粗差探测法每次只能检验出一个粗差,当存在几个粗差时,只有逐个进行检验,即首先剔除超出临界值最大的那个观测值,然后进行下一次平差求出残差,仿照前述方法再一次进行粗差探测,依此继续下去。三、数据探测法的缺点数据探测法在具体应用中存在以下几点不足:(1) 某些情况下
6、单位权无法预知。(2) 剔除含粗差观测值,减少了多余观测分量,可能造成监测网形亏,水准网出现单线甚至不能平差的情况,某些点的高程无法计算,形亏问题可以解决,但大大增加了平差的工作量。(3)由于粗差对每个观测值都有影响,统计检验中,弃真、纳伪的情况也是存在的,这样, 尤其在存在多个粗差时,第一次去掉的残差最大的观测值很有可能并不包含粗差,从而造成错误的判断。3、粗差归入随机模型时的粗差定位方法这种定位方法是根据逐次迭代平差的结果来不断的改变观测值得权,使含有粗差的观测值的权趋向于零,从而达到剔除粗差的目的。目前常用稳健估计的方法进行粗差剔除。一、稳健估计原理所谓稳健估计,是在粗差不可避免的情况下
7、,选择适当的估计方法,是所估参数尽可能减免粗差的影响,得出正常模式下最佳或接近最佳的估值。稳健估计一般分为三类:M 估计、L 估计和 R 估计。M 估计是一种广义的极大似然估计,它是经典的极大似然估计的推广,易于实施。所以M 估计在参数估计中应用的较广泛。本节将重点介绍 M 估计的概念及应用。L 估计是排序统计量线性组合估计,它需将观测子样按其大小排列。R 估计是秩检验型估计,我们只对 L 估计、R 估计的基本概念作一简单介绍。 广义极大似然估计(M 估计)最小二乘估计要求minPVT(10)个别异常大残差的出现将会导致平方和迅速增大,为了达到平方和极小的目的,估值必然要迁就那些异常值。所以,
8、个别异常值会对整个估值产生大的影响,这就启示人们,如果用增长较慢的极小化残差函数代替平方和函数,是否可以得到比最小二乘估计较好的抗粗差性的估计呢?M 估计正是基于这样的想法。设有参数向量 X,是未知的非随机量,为了估计 X,进行 n 次观测,得到观测向量 L 的观测值 l,由极大似然估计有max),(n1iif(11)或in),(ln1i ixf(12)其中 是随机量 的密度函数。可以用 代替函数 ,使其定fL),(xli),(lnxfi义广泛化,于是可得(13)min),(1niixl或(14)0),(1niixl式中(15)xll),(),(由(13)和(14)出发,对参数 x 进行估计,
9、就是广义极大似然估计,简称 M 估计。在测量平差中,观测量的平差为 V,M 估计的函数 可取为 ,M 估)(iv计准则为:min)(1niiv(16)或0)(1niiv(17)M 估计中的 或 是任意适当选取的函数,M 估计的稳健性与 (或 ) 的选择有关,例如,当2)(iivp(18)时,就是最小二乘估计,但不具有抗粗差性。选取不同的 (或 ) ,会得出不同的 M 估计,稳健性也不相同。由于 选择的不同,M 估计将有不同的形式。所以,M 估计不是指某个特定的估计,而是某一类具有稳健性的估计。在假定模型基本正确的前提下,稳健估计具备抗大量随机误差和少量粗差的能力,使所估参数达到最优或接近最优。
10、抵抗少量粗差对参数估值的影响是稳健估计理论的研究重点,而抗粗差干扰强弱的标志是能容然多少个观测粗差。因此稳健估计不象最小二乘估计那样,追求参数估计在绝对意义上的最优,而是在抗粗差前提下的最优或接近最优。二、选权迭代法选权迭代法的基本思想是:从最小二乘进行平差,得到第一组残差,在每次平差后,根据其残差和有关的其他参数,按照所选取得权函数,计算出下次迭代中观测值相应的权。而含粗差观测值的权将越来越小,直至趋近于零。迭代中止时,相应的残差将直接指出粗差的值,而平差的结果也将不受粗差的影响, 从而实现粗差的定位剔除。随着权函数的选取不同通常权是一个在平差过程中随改正数变化的量,经过多次迭代,从而使含有
11、粗差的奇异观测的权为零(或接近于零) 。而相应的残差值在很大程度上反映了其粗差值。这样一种通过在平差过程中的变权实现参数估计的稳健性的方法,称之为选权迭代法。 2其中权函数的选取应该满足下列条件:(1) 通过迭代,含粗差观测值的权应逐步趋近于零;(2) 不含粗差观测值的权,在迭代中止时应等于该组观测值的权。(3) 权函数的选择应保证迭代过程能以较快的速度收敛。设 M 估计的函数 可取为 ,M 估计的准则为:F)(iv(19) min)(1niiv通常残差 V 为未知参数的函数,将上式对未知参数 求一阶导数,x并令其等于零,求出极值点(20)0)(1xVvFxini平差中的误差方程 (21)ii
12、ilxbv为 的第 行向量,则根据(20)式有ii(22)0)(1iiniTvFb令 为权函数 ,则上式成为:ivF)( )(ip(23)0)(1iiniTvpb将(21)代入上式得(24)0)(1iiiniTlxbvp若以矩阵形式表示上式则为:(25)0)()(lvPBxvTT上式与最小二乘估计中的法方程形式完全一致,只是用权函数代替了观测权阵。因此,稳健估计的选权迭代法可以归结为如下模型:lBxV权函数为 ,估计准则为)(P(26)min)(VT这与最小二乘模型极为相似,不同的是权函数计算前未知,式残差的函数,只能通过给其赋予一定的初值,迭代估计参数。1、列立误差方程,令各观测权函数初值均
13、为 1;2、计算法方程,得出 和 的第一次估值xV,lBT11)(。lxV113、根据 和所选取的权函数计算个观测值的权,再解算法方程,类1似迭代计算,直至前后两次解的差值符合限差的要求为止。4、最后的结果为,lVPBxnTnTn )()(11lBVn权函数的选取有多种不同的形式,比较常用的方法也有多种,下面我们简要介绍几种。1、Huber 法 3权函数为(29)|21)(VPi2|由 Huber 权函数可以看出,当所有的改正数均在 与 之间时,2Huber 估计就是经典最小二乘估计。当有观测值的改正数大于 时,对应得权函数就越小,相应的该观测值对参数估计的影响就越小。当观测值改正数远远大于
14、时, 其权就接近于零,则该观测值对参数估计的2影响就变得微乎其微。2、丹麦法丹麦法的出发点也是经典的最小二乘平差。用第一次平差的残差,根据下列的权函数计算各观测值的权进行下一次迭代:(30)21)(kvmeVP 02V当当按经验,丹麦法得权函数进行粗差检验比较有效。通常要经过510 次迭代。最后受粗差影响的观测值的权变为零,而它们的残差将直接指出粗差的数值,平差的结果也将不受或少受粗差的影响。3、一次范数最小法(L 估计)权函数为(31)|1)(VP为避免 时出现计算问题, 计算时上式取为:0V, (32)|1)(V相对于 是一个很小的值。V4、 范数最小法( 估计)pPL(33)kVp2|1
15、)(式中 取值为 。p,0目前测绘界出现了很多选权迭代的方法。这些方法的共同点都是用残差的函数作为观测值的权,不同的只是权函数的形式。2.4 实例分析 一、高程控制网粗差剔除实例我们以苏通大桥北岸高程控制网为例。苏通长江公路大桥北岸高程控制网共有 13 个首级控制点,记为 A1A13,其中 A1(即 STBM-1)为起算点,起算高程 H=1.6840m,该起算点高程由北岸的狼山岩点联测起算一等水准得到,布设情况如图 1 所示。控制网采取间接平差法进行平差计算。平差以待定点高程为未知数,以测段距离定权,根据不同观测量观测高差中误差确定权系数比。平差元素为:二等水准观测的各测段高差(高差施加以下改正:标尺长度误差改正、正常水准面不平行改正和重力异常改正) 。观测数据如表 1 所示。