运动视觉平台点目标定位误差分析和平台最优运动轨迹设计.DOC

1、1运动视觉平台点目标定位误差分析和平台最优运动轨迹设计 张红良，俞先国，王梓（国防科技大学 航天科学与工程学院，湖南 长沙 410073）摘 要：对运动视觉平台点目标定位问题进行了研究，介绍了基于视觉共线方程的目标定位方法，分析了共线方程关于视线约束的实质，在观测视线相关坐标系推导了视线方向角矢量对目标定位误差的影响规律，分析了多观测对定位误差的影响，并基于最小化目标定位误差推导了视觉平台的最优运动轨迹，利用简单明了的分析方法得到了与已有文献优化 Fisher 信息矩阵方法一致的结论。利用仿真和试验对定位误差和最优轨迹进行了验证，证实了定位误差理论分析和最优运动轨迹设计的正确性。关键词：目标定

2、位；视觉；误差分析；最优运动轨迹中图分类号：V557 文献标志码：A 文章编号： Error analysis and optimal maneuver trajectory design of the point target location based on a moving visual platformZHANG Hongliang, YU Xianguo, WANG Zi(College of Aerospace Science and Technology, National University Defense Technology, Changsha, 410073, Chi

3、na) Abstract: The point target location based on a moving visual platform is concerned. After introducing the visual location method, this paper analyzes the sight-line restriction of the collinear equation. Error impact of view-line angle vector to the point target location is deduced in the view-l

4、ine associated coordinate system. Multi-time measurements are also concerned in the location error analysis. Based on the minimization of the target location error, the optimal maneuver trajectory of the observer platform is designed. Using a method that is simpler and easier to understand, Tis pape

5、r gets results same with the method by maximizing the determinant of the Fisher information matrix. Simulations and tests were performed, and results show that the target location error analysis and the platform optimal maneuver trajectory design are valid. Keywords: target location; visual; error a

6、nalysis; optimal maneuver trajectory收稿日期：2017-06-12 资助项目：国防科技大学科研计划项目（ZK16-03-27） ，国家重大科学仪器设备开发专项（2013YQ140517）作者简介：张红良（1981），男，江苏沛县人，讲师，E-mail：视觉平台指安装了视觉、红外、电视等视觉传感器的平台。基于运动视觉平台对目标定位广泛应用于无人机对地测量 1-3、卫星遥感和侦察 4、机器人目标抓取 5和空间任务视觉测量6等场合。本文考虑小型侦察无人机对目标定位的典型应用，假设观测目标为点目标，仅能通过图像处理、目标识别和跟踪等获取目标相对运动视觉平台的方向信息

7、。当目标为静止或准静止时，对目标定位可采用计算机视觉领域的“三角测量法” 7-9，其本质与被动侦察领域的“测向交叉法”相同，即利用视觉成像模型建立目标视线方向的约束，多个时刻光学平台的视线方向交叉优化测量目标位置。当目标为运动目标时，定位较为复杂，一般需假设目标运动满足一定条件 9-11。本文仅考虑对静止或准静止目标定位情形。视觉平台目标定位误差源一般包括标定误差（包括像机内外参数误差） 、匹配误差和结构参数误差等多种因素 12，已有文献对航空平台姿态和位置引起的定位误差分析一般借助蒙特卡洛方法 13,14。但对于简单的小型无人机平台，姿态精度不高，目标方向测量误差将成为主要误差源。本文仅分析

8、目标方向测量误差其对目标定位的影响，采用矢量偏导方法推导了误差理论公式，并采用数值仿真方法进行了验证。目标定位平台最优运动轨迹在被动侦察目标运动分析（TMA, Target Motion Analysis）领域有较多的研究 15, 16，比较经典的方法是优化Fisher 信息矩阵（FIM, Fisher information matrix）的行列式或 CRLB（ Cramer-Rao low 2bound）的迹。本文则从误差分析结果出发，依据误差最小建立目标函数，最后推导得到最优轨迹，结论与文献16采用 Fisher 信息矩阵优化得到的结论根本上完全一致。1 运动视觉平台对目标定位方法1.1

9、 共线方程根据视觉成像原理 7，一般定义视觉测量坐标系（ 系）原点为视觉传感器光心， 轴CCZ与视觉传感器光轴重合， 、 分别与图像CXY的横、纵轴平行，且三个坐标轴组成右手直角坐标系。假设点目标在空间物理坐标系（ 系）W的位置为 ， 时刻成像在图像上，像素坐标Pt为 ，则满足共线方程,Ttuv* ME1TtytxtCtCzFRPRGEFORMAT (1)其中 表示 时刻目标到光心的距离在光轴上tz的投影， 、 表示图像主点（光轴与图像平xy面的交点）的横纵坐标， 、 表示 时刻xtFyt视觉传感器在横纵方向的等效焦距， 表示R时刻空间物理坐标系到视觉测量坐标系的转t换矩阵， 表示 时刻光心在

10、空间物理坐标系CtP的位置。对于已标定视觉传感器内参数 、xC和 、 均已知，外参数 、 可根据yxtFyt ttP运动平台的姿态测量系统得到，因此上述共线方程提供了点目标位置 的两个约束。如果运动平台连续多个时刻观测到目标，则可以建立方程组，优化求解目标位置，实现目标定位。1.2 共线方程分析共线方程* MERGEFORMAT (1)本质上是建立了关于目标的视线约束，记，则由共线方程* 1TtytxvCuFlMERGEFORMAT (1)可得* 1TtyTtxCtt tvuzzFPRRlMERGEFORMAT (2)记单位矢量 ，其中 表示矢量/TtLll的长度，进一步记 ，则公式* l t

11、tzlMERGEFORMAT (2)可写为* MERGETCtttzPRl=LFORMAT (3)其中 的物理含义为视觉光心到点目标的视线L单位矢量，对于已标定视觉传感器， 可根据目标在图像上的坐标及标定参数求出； 的物t理含义为视觉光心到点目标的空间距离。公式* MERGEFORMAT (3)即表明共线方程本质上即是关于目标视线的约束。由于距离 为未知量，根据公式* tMERGEFORMAT (3)，矢量 与视线方CtP向 平行，因此有L或 * 0CtPCtLMERGEFORMAT (4)其中“”表示矢量叉乘符号。记 表示矢量 叉乘对应的反对称矩阵，即对于任意矢量L，有 ，则根据矩阵理论有a

12、=a。因此公式* MERGEFORMAT 2rnk(4)仅提供了点目标位置 的两个独立约束。公P式* MERGEFORMAT (4)中目标位置 未知，P它提供了共线方程更本质的表述。1.3 目标定位解的唯一性 P1P2PL1L2图 1 运动平台测量点目标示意图Fig.1 Point target location using moving visual platform如图 1 所示，假设某时刻视觉平台光心位置为 ，利用视觉成像测量得到目标视线方向P单位矢量为 ，一段时间后，视觉平台运动到1L位置 ，此时测量视线单位矢量为 ，因此两2 2L3个时刻的共线方程本质上是建立了如下约束或 * 112

13、20LP1122LPMERGEFORMAT (5)当视线方向 和 不平行时，12，因此目标位置有唯一解：123rankL* 11 12222TT LPPMERGEFORMAT (6)2 定位误差分析对于小型无人机平台，由于缺乏高精度测姿设备，其视觉传感器姿态误差将成为目标定位的主要误差源，并引起较大的视线方向误差。本部分仅重点分析视线方向误差的影响。 L1L2YVZV(XV)OV图 2 观测视线相关坐标系Fig.2 View-line associated coordinate system对于视觉平台在两个不同位置处的目标定位情形，假设观测视线分别为 和 ，为方便1L2分析，首先定义一个和观

14、测视线相关的坐标系（ 系）如下：坐标原点与空间物理坐标系（V系）原点重合， 与 平行， 垂直于 、WVX1VY1所在平面， 在 、 所在平面内，且与2LZL2、 组成右手直角坐标系，如图 2 所示。VXY假设 、 之间的夹角为 ，则 、 在121L系的表示分别为， * 10TVL2cos0inTVLMERGEFORMAT (7)当观测视线存在小的误差时，会使观测视线单位矢量发生变化，假设误差角矢量为 ，则观测视线为* MERGE3L=RILFORMAT (8)其中 表示误差角矢量 引起的方向转化矩阵。假设测量平台在两个位置处的误差角矢量分别为 和 ，不考虑其他误差，目标定位结12果为 （即目标

15、定位误差为 ） ，根PP据公式* MERGEFORMAT (5)和* MERGEFORMAT (8)，在一阶近似条件下有* 111222L+L=PPMERGEFORMAT (9)记 ， ，代入上1L22L式化简为* MERGEF111222P=-ORMAT (10)将各误差量都在 系表示，记V，TVxyzP=和11，则将* 22VxyzMERGEFORMAT (7)式代入* MERGEFORMAT (10)式，化简得* 12200sinsinicoscoVyzVxyz PMERGEFORMAT (11)按照最小二乘法原理，可得* 121cos00insinco12VxV yx zy xz Vy

16、zP =MERGEFORMAT (12)从公式* MERGEFORMAT (12)可以看出，4目标定位误差和距离 、 相关，距离目标越12远，在相同视线角误差条件下引起的定位误差越大；同时定位误差还和视线夹角 相关，由于部分误差项包含 ，因此当 较小时，/sin对应项误差较大。值得说明的是，上述推导只考虑了两条观测视线，当在视线 、 间有多次观测时，在1L2误差量级一定且随机的条件下，定位误差会相对减小。 P1P2PL1 L2图 3 多次观测测量示意图Fig.3 Multi-time measurements如图 3 所示，假设一段时间内共有 次观N测，每次观测视线方向误差满足正态分布且均方差

17、相同。最大夹角小于 90 度，仅考虑最大夹角处的两次观测 、 时的定位误差为 ，1L2P应用所有 次观测时的定位误差记为 ，则NN* MERGEFO,1kPRMAT (13)式中 的存在是由于中间观测视线的交角k小于最大交角，因此其引起的定位的误差大于最大夹角对应的两条观测视线。3 最优轨迹设计无人机等运动平台对侦察目标定位时，一般希望短时间内获得较高的定位精度，这就需要考虑无人机的飞行轨迹设计问题。被动侦察领域最优轨迹的设计比较经典的方法是优化Fisher 信息矩阵（FIM）的行列式或 CRLB 的迹，本文采用一种不同的方法。由上面误差分析结果（公式* MERGEFORMAT (12)）可知

18、，在小的视线夹角条件下，影响较大的误差系数为 ，/sin因此飞行轨迹应使视线角尽量大，且距离目标尽量小，基于此分析，本文拟将 作为2/i优化函数。如图 4 所示，假设运动视觉平台的速度大小为 ，测量周期为 ，某时刻平台在Vt位置 定位测量 处的目标，而后以与视线方1P向成 的角度飞行 后到位置 进行下一次t2P测量，两次测量的视线夹角为 。最优轨迹设计即设计最优的 ，使两次观测的定位误差最小，即最优化问题为， s.t. =const2minsVt* MERGEFORMAT (14)P1 P2P 2 1VtL1 L2图 4 最优轨迹设计示意图Fig.4 Optimal maneuver traj

19、ectory design根据平面三角形的正弦余弦定理容易推出* 222112 cossinsiinVttVtMERGEFORMAT (15)对 求导，令其为零，整理得* 122cosVtMERGEFORMAT (16)文献16通过优化 Fisher 信息矩阵的行列式方法得到的结论（文献16定理 1）为，因为2，因此122cosinsicoVt公式* MERGEFORMAT (16)的结论与文献16完全一致。当 时，公式* MERGEFORMAT 1Vt5(16)近似为* MERGEFORMAT 12cosVt(17)此时沿最优飞行轨迹 处的点 到目2VtP标的视线方向与最优飞行轨迹方向垂直，

20、如图5 所示。图 5 最优轨迹方向规律示意图Fig.5 The optimal maneuver direction需要说明的是，公式* MERGEFORMAT (16)中最优轨迹方向的计算需要用到观测平台到目标的距离 ，这在实际应用中难以准确知1道。按照文献16 的建议，工程上可以采取初始时刻观测平台先走瞄准线航向, 估计观测平台和目标相对距离，然后不断修正的方法运用。4 仿真验证4.1 定位精度仿真验证假设运动视觉平台距离目标都为 1km，两次测量视线夹角为 10 度，仿真三种视线方向误差，分别为 0.1 度、0.5 度、1 度（三个坐标方向的随机误差均方差） ，不考虑其他误差。采用三角测

21、量方法计算目标位置，统计 1000 次计算的定位误差在视线相关坐标系内表示，如表 1所示。表 1 目标定位误差仿真分析Tab.1 Simulation of target location error analysis根据公式(12) 的定位误差理论值/m 定位误差仿真值/m视线方向误差 XV YV ZV XV YV ZV0.1 14.10 1.23 1.74 13.62 1.22 1.670.5 70.53 6.17 8.73 71.24 6.27 8.581 141.07 12.34 17.45 152.67 12.39 18.74由表 1 可知，仿真结果与理论分析结果基本一致，表明了理论

22、分析的正确性。仿真中注意到当视线方向误差增大时，定位仿真误差与理论误差的偏差增大，这是由于我们在理论分析时按照一阶近似得到的相关结论，当误差量级较大时，一阶近似分析存在误差。下面验证多次观测的定位误差情况。假设运动视觉平台测量时距离目标都为1km，平台沿弧线匀速飞行至视线最大夹角为10 度处，该过程中分别进行 2 次、4 次和 100次观测，视线方向测量误差都为 0.5 度（三个坐标方向的随机误差均方差） ，不考虑其他误差，采用三角测量方法计算目标位置，统计 1000 次计算的综合定位误差（误差矢量的大小） ，如表2 所示。表 2 多次观测目标定位误差仿真分析Tab.2 Simulation

23、of multi-time measurements target location error analysis观测次数 根据公式(13) 的定位综合误差理论值/m 定位综合误差 仿真值/m仅最大夹角的 2 次 71.33 72.014 次 *71.33= *35.67kN69.56100 次 *71.33= *7.13 56.22从表 2 可以看出，增加观测次数，定位误差减小，但减小幅度受到次数受到一个大于 1的参数 的作用，当观测次数增多时， 增大。k k本试验条件下，观测 4 次时， =1.95；观测100 次时， =7.88。4.2 定位误差试验验证在实验室内进行了试验验证，如图 6

24、 所示，目标为一战车模型，视觉平台为千兆网摄像机（分辨率 1024*1024，灰度像机，镜头焦距25mm） ，视觉平台距离目标约 21 米，在四个位置处对目标成像，模拟运动视觉平台对目标的定位，最大视线夹角为 15.93 度。6图 6 定位误差实验室验证试验Fig.6 Target location test in laboratory目标位置由全站仪确定作为真值，摄像机内参数提前标定，视觉平台位置也由全站仪确定，摄像机同时对目标和标定标志墙成像，利用标志墙上的已知标志标定视觉平台摄像机姿态。提取目标中心在图像上的像点，就可以利用本文第 1 部分介绍的定位方法对目标定位，和全站仪测量的位置真值

25、作比较，统计定位误差。由于摄像机标定姿态精度较高，为了考察视觉平台姿态误差的影响，我们在摄像机标定姿态的基础上人为加入 0.1 度、0.5 度和 1 度的随机误差，分别考察采用最大夹角两次观测数据和全部四次观测数据的目标定位结果。某一次的定位结果如表 3 所示。多次定位试验统计的综合定位误差（定位误差的大小）如表 4 所示。表 4 综合定位误差统计结果Tab.4 Statistical location errors in tests观测数据视觉平台姿态误差定位综合误差试验结果/m定位综合误差理论结果/m（根据公式* MERGEFORMAT (12)、* MERGEFORMAT (13)得到）

26、0.1 0.192 0.1930.5 0.992 0.962只使用最大交角的两次观测 1 1.980 1.9240.1 0.179 *0.097k0.5 0.934 *0.481使用全部四次观测1 1.831 *0.962表 3 和表 4 的结果表明，试验结果与理论分析结果一致：视线方向角误差越大，定位误差越大；定位误差与公式* MERGEFORMAT (12)的理论结果一致；多次观测的定位误差与公式* MERGEFORMAT (13)分析一致。试验结果反映了理论分析结果的正确性。4.3 最优轨迹仿真验证假设运动视觉平台初始观测时刻距离目标都为 1km，平台运动速度大小为 30m/s，观测周期

27、为 10s，视线方向测量误差为 0.5 度（三个方向的随机误差均方差） ，不考虑其他误差。设计三种飞行轨迹：轨迹一：与目标保持距离不变，沿圆弧线飞行；轨迹二：按 =81.37 度飞行，即，飞行方向与第二次观测视cos30*5/1线方向垂直；轨迹三：按本文设计的最优轨迹飞行，表 3 一次试验的定位结果Tab.3 Location results in a test观测数据 视觉平台姿态误差 视觉平台定位结果/m 目标位置真值（全站仪测量）/mX 方向 Y 方向 Z 方向 X 方向 Y 方向 Z 方向只使用最大交角的两次观测0.1 -12.303 -2.608 0.694-12.129 -2.63

28、8 0.7190.5 -11.590 -2.389 0.8961 -10.228 -2.832 0.820使用全部四次观测0.1 -12.307 -2.622 0.6930.5 -11.412 -2.564 0.7311 -10.514 -2.823 0.6587=72.94 度。根据首次观测和一个周期后的第二次观测，采用三角测量方法计算目标位置，由于添加视线角度误差为随机差，统计 1000 次计算的综合定位误差（误差矢量的大小） ，如表 5 所示。表 5 视觉平台不同运动轨迹定位误差仿真分析Tab.5 Simulation of different visual platform maneu

29、ver trajectories location error analysis运动轨迹 仿真定位综合误差/m轨迹一 42.92轨迹二 41.09轨迹三 40.53从表 5 可以看出，视觉平台按轨迹三运动，对目标的定位误差最小，结果证明了理论分析的正确性。5 结论运动视觉平台对点目标定位的应用广泛，本文以此为研究背景，介绍了视觉共线方程进行目标定位的原理，通过分析指出共线方程的本质是建立了关于目标的视线约束，给出了视觉观测的视线方向描述公式。由于小型侦察无人机等视觉平台的姿态误差影响较大，本文分析了观测视线方向误差对定位结果的影响，基于视线相关坐标系推导了定位误差矢量公式，表明定位误差受到视线

30、交角和目标距离的影响。基于最小化误差的准则，推导了视觉平台运动的最优轨迹，结论和已有文献通过优化 Fisher信息矩阵的行列式方法得到的结论完全一致，但本文的推导更为简单明了。本文最后通过仿真和试验对定位误差和最优轨迹进行了验证，结论证实了本文理论分析的正确性。本文仅考虑了静止目标情形，后续研究中将就视觉平台对运动目标的定位问题开展更深入的研究。参考文献（References ）1 Barber, D B, Redding J D, Mclain T W, et al. Vision-based target localization from a fexed-wing miniature a

31、ir vehicleJ. Journal of Intelligent and Robotic Systems, 2006, 47(4):361-382.2 MacArthur, D K. Tracking and state estimation of an unmanned ground vehicle system using an unmanned air vehicle systemD. Florida: University of Florida, 2007.3 张梁, 徐锦法, 夏青元, 等. 地面目标特征识别与无人飞行器位姿估计J. 国防科技大学学报, 2015, 37(1):

32、159-164.ZHANG Liang, XU Jinfa, XIA Qingyuan, et al. Feature recognition of ground target and position and attitude estimation for unmanned aerial vehicleJ. Journal of National University of Defense Technology, 2015, 37(1):159-164.(in Chinese)4 袁修孝, 张过. 缺少控制点的卫星遥感对地目标定位J. 武汉大学学报信息科学版 , 2003, 28(5):50

33、5-509. YUAN Xiuxiao, ZHANG Guo. Object location of satellite imagery under lacking ground control pointsJ. Geomatics and Information Science of Wuhan University, 2003, 28(5):505-509. (in Chinese)5 杨扬. 基于机器视觉的服务机器人智能抓取研究D.上海: 上海交通大学, 2014.YANG Yang. Study on the machine vision based intelligent grasp

34、ing for service robotD. Shanghai: Shanghai Jiao Tong University, 2014. (in Chinese)6 Petit, A, Marchand EKanani K. Vision-based space autonomous rendezvous: a case studyC. /Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems, 2011: 619-624.7 于起峰, 尚洋. 摄像测量学原理与应用研究M. 北京:

35、 科学出版社, 2009.YU Qifeng, SHANG Yang. Videometrics: principles and researchesM. Beijing: Science Press, 2009. (in Chinese)8 Yu J X, Xiao D Y, Jiang L D, et al. Approach for geo-location with unmanned aerial vehicleJ. Opto-Electroni Engineering, 2007, 34(7): 1-7.9 Avidan S, Shashua A. Trajectory triang

36、ulation 3D reconstruction of moving points from a monocular image sequenceJ. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(4): 348-357.10 Yu Q F, Shang Y, Zhou J, et al. Monocular trajectory intersection method for 3D motion measurement of a point targetJ. Science in China

37、 Series E: Technological Sciences, 2009,52(12): 3454-3463.11 李鑫, 刘建男, 杨夏, 等. 不同时间信息条件下多目轨迹交会测量点目标运动的方法J. 国防科技大学学报, 2015, 37(3): 110-114.LI Xin, LIU Jiannan, YANG Xia, et al. Multi-camera trajectory triangulation for point target motion measurement in different conditions of time informationJ. Journa

38、l of National University of Defense Technology, 2015, 37(3): 110-114. (in Chinese)12 唐巍. 双目视觉测量系统误差分析与校准方法研究D. 哈尔滨: 哈尔滨工业大学, 2012,8TANG Wei. Study of error analysis and calibration methods for binocular vision measurement systemD. Harbin: Harbin Institute of Technology, 2012.(in Chinese)13 杜言鲁, 丁亚林,

39、 许永森, 等. TDI-CCD 全景式航空相机对地目标定位的算法J. 光学学报, 2017, 37(3): 0328003.DU Yanlu, DING Yalin, XU Yongsen, et al. Geo-location algorithm for TDI-CCD aerial panoramic cameraJ. Acta Optica Sinica, 2017, 37(3): 0328003. (in Chinese)14 檀立刚, 戴明, 刘晶红, 等. 机载光电测量设备目标自主定位误差分析J. 光学精密工程, 2013, 21(12): 3133-3140.TAN Liga

40、ng, DAI Ming, LIU Jinghong, et al. Error analysis of target automatic positioning for airborne photo-electri measuring deviceJ. Optics and Precision Engineering, 2013, 21(12): 3133-3140. (in Chinese)15 Passerieux J M, Cappel D V. Optimal observer maneuver for bearings-only trackingJ. IEEE Transactio

41、ns on Aerospace and Electronic Systems, 1998, 34(3): 777-787.16 许志刚, 盛安冬, 陈黎, 等. 被动目标定位系统观测平台的最优机动轨迹J. 控制理论与应用, 2009, 26(12): 1337-1344.XU Zhigang, SHENG Andong, CHEN Li, et al. Optimal maneuver trajectories of the observer platform in passive localization systemJ. Control Theory & Applications, 2009, 26(12): 1337-1344.(in Chinese)