1、国防科学技术大学研究生院硕士学位论文第 I 页工学硕士学位论文未知环境下基于视觉的无人机目标跟随与着陆方法研究硕士生姓名学科专业 控制科学与工程研究方向 机器人技术指导教师 国防科学技术大学研究生院年 月国防科学技术大学研究生院硕士学位论文第 II 页国防科学技术大学研究生院硕士学位论文第 III 页未知环境下基于视觉的无人机目标跟随与着陆方法研究 国防科学技术大学研究生院国防科学技术大学研究生院硕士学位论文第 IV 页目 录摘 要 .iABSTRACT.ii第一章 绪论 .11.1 课题研究背景和意义 .11.2 国内外研究现状 .21.2.1 国外研究现状 .21.2.2 国内研究现状 .
2、51.3 本文主要研究内容 .51.3.1 论文的主要工作 .51.3.2 论文的创新点 .61.3.3 论文的组织结构 .7第二章 实验平台介绍及目标识别方法 .82.1 AR.Drone 2.0 实验平台介绍 .82.1.1 硬件平台 .82.1.2 软件系统 .92.2 目标识别方法 .122.2.1 目标标志的选取 .122.2.2 一种基于神经网络分类器的目标识别方法 .122.2.3 一种基于霍夫变换的残缺目标识别方法 .132.2.4 目标识别算法实时性分析 .142.3 小结 .15第三章 基于射影几何与 PTAM 的目标跟随与目标速度估计 .163.1 基于射影几何的目标在相
3、机坐标系下的位置估计 .163.2 基于 PTAM 的相机与目标在世界坐标系下的位置估计 .193.2.1 基于 PTAM 的世界坐标系的建立 .193.2.2 目标在世界坐标系下的位置估计 .213.3 三维空间中基于卡尔曼滤波的目标速度估计 .233.4 实验结果与分析 .253.4.1 二义性问题实验结果与分析 .253.4.2 目标跟随控制律设计及精度分析 .273.4.3 PTAM 算法的实时性分析 .29国防科学技术大学研究生院硕士学位论文第 V 页3.4.4 基于 PTAM 的无人机位置估计精度分析 .303.4.5 基于卡尔曼滤波的速度估计分析 .313.5 小结 .33第四章
4、 基于射影几何与视觉伺服的无人机着陆方法 .344.1 基于射影几何的无人机着陆方法 .344.1.1 目标平面法向量 “二义性”判别 .344.1.2 偏航角获取 .364.1.3 基于标志平面的世界坐标系的建立 .364.1.4 基于射影几何的无人机着陆控制器设计 .384.2 基于视觉伺服的无人机着陆控制 .384.2.1 基于视觉伺服的误差信号选取 .384.2.2 控制信号从图像平面到三维空间的转换 .394.2.3 基于视觉伺服的 PID 控制器设计 .404.2.4 射影几何与视觉伺服的结合 .414.2.5 目标跟随与着陆的过程设计 .434.3 实验结果与分析 .444.4
5、小结 .46第五章 总结与展望 .485.1 总 结 .485.2 展 望 .48致 谢 .50参考文献 .52作者在学期间取得的学术成果 .56国防科学技术大学研究生院硕士学位论文第 VI 页图 目 录图 1.1 几种常用的目标跟随与着陆标志 .2图 1.2 地面移动平台 .4图 2.1 AR.Drone 2.0 及其坐标系 .8图 2.2 无人机感知及其通信方式 .9图 2.3 本文无人机软件系统的各节点及其所发布的话题 .10图 2.4 本文研究用到的 tf 树 .10图 2.5 动态参数服务器参数调节界面 .11图 2.6 ros 下 rviz 工具 .11图 2.7 目标标志 .12
6、图 2.8 目标识别的步骤及结果：原始图像（左上角），二值化图像（右上角），查找连通域（左下角），识别结果（右下角） .13图 2.9 目标被遮挡或者在相机视野中残缺时的识别效果 .14图 2.10 基于神经网络分类的目标识别算法的运算时间 .15图 2.11 霍夫变换圆形检测的运算时间 .15图 3.1 圆的透视成像原理图 .17图 3.2 本文实验中 PTAM 提取的环境中的特征点 .20图 3.3 本文实验中 PTAM 建立的地图（红色）和无人机的飞行轨迹（绿色）.21图 3.4 PTAM 算法流程 .21图 3.5 各坐标系的位置关系在 rviz 中的显示 .22图 3.6 两组解在相
7、机坐标系下 X 轴坐标 .25图 3.7 两组解在相机坐标系下 X 坐标之差 .25图 3.8 两组解在相机坐标系下 Y 轴坐标 .26图 3.9 两组解在相机坐标系下 Y 坐标之差 .26图 3.10 两组解在相机坐标系下 Z 轴坐标 .26图 3.11 两组解在相机坐标系下 Z 坐标之差 .26图 3.12 目标跟随控制框图 .27图 3.13 X 方向目标与飞机的真实位置 .28图 3.14 X 方向目标与飞机的真实位置之差 .28图 3.15 Y 方向目标与飞机的真实位置 .28图 3.16 Y 方向上目标与飞机的真实位置之差 .28图 3.17 Z 方向目标与飞机的真实位置 .29国
8、防科学技术大学研究生院硕士学位论文第 VII 页图 3.18 Z 方向目标与飞机的真实位置之差 .29图 3.19 PTAM 算法的运算时间 .29图 3.20 X 方向 PTAM 估计的飞机位置与真实值 .30图 3.21 Y 方向 PTAM 估计的飞机位置与真实值 .30图 3.22 Z 方向 PTAM 估计的飞机位置与真实值 .30图 3.23 X 方向卡尔曼滤波前后对比 .31图 3.24 Y 方向卡尔曼滤波前后对比 .31图 3.25 Z 方向卡尔曼滤波前后对比 .31图 3.26 X 方向卡尔曼滤波后的速度与真实值比较 .32图 3.27 Y 方向卡尔曼滤波后的速度与真实值比较 .
9、32图 3.28 Z 方向卡尔曼滤波后的速度与真实值比较 .32图 4.1 法向量“ 二义性” 在 rviz 中的显示 .35图 4.2 偏航角求取 .36图 4.3 坐标系建立 .37图 4.4 基于射影几何的无人机着陆控制框图 .38图 4.5 同一组误差信号在图像平面与机体坐标系下的表示 .39图 4.6 基于视觉伺服的控制框图 .41图 4.7 水平相机（左）与垂直相机（右）成像质量对比 .41图 4.8 基于射影几何与视觉伺服的着陆控制流程图 .42图 4.9 无人机高度 0.5m 时相机成像结果（左）与标志识别结果（右） .42图 4.10 目标跟随与着陆的过程设计 .43图 4.
10、11 俯仰通道指令随时间变化 .44图 4.12 滚动通道指令随时间变化 .44图 4.13 无人机在世界坐标系中 X 坐标与标志在图像坐标系下 Y 坐标随时间变化 .44图 4.14 无人机在世界坐标系中 Y 坐标与标志在图像坐标系下 X 坐标随时间变化 .45图 4.15 无人机在世界坐标系中 Z 坐标随时间变化 .45图 4.16 无人机偏航角随时间的变化 .45国防科学技术大学研究生院硕士学位论文第 i 页摘 要无人机的目标跟随与着陆是提高无人机全自主飞行能力的重要研究内容。它不仅可以用于未知环境中的目标监视，还可以用于环境未知、着陆地点随时可能变换的无人机引导降落。基于视觉的无人机目
11、标跟随与着陆方法以其成本低廉、精确度高、获取信息丰富等优点，成为近年来研究人员研究的热点问题之一。本文利用以单目相机为主要传感器的 AR.Drone 2.0 实验平台研究未知环境下无人机的目标跟随与着陆问题。本文的课题研究主要分为两个阶段：目标跟随阶段与着陆阶段。在目标跟随阶段，使用了射影几何方法建立相机与目标之间的相对坐标系，获取了目标在相机坐标系下的三维位置；然后利用 PTAM 算法建立了世界坐标系，获取了无人机在世界坐标系下的六自由度信息，利用坐标转换关系得到了目标在世界坐标系下的三维位置信息；接着利用卡尔曼滤波算法实现了对目标的速度估计，设计了目标丢失时的有效搜索方法；最后利用PID
12、控制器控制无人机对目标的跟随。在着陆阶段，本文将基于视觉伺服的控制方法与基于射影几何的控制方法相结合，控制无人机着陆。本文解决了无人机目标跟随与着陆过程中会出现的一些问题。首先，将射影几何与 PTAM 算法结合使用解决了目标丢失时无人机位置信息也会丢失的问题。其次，使用了卡尔曼滤波算法实现了目标的速度估计，解决了目标从相机视野中消失时目标难以有效搜索的问题。然后，将视觉伺服与射影几何方法结合起来解决了目标残缺时射影几何定位失效的问题。最后，将目标跟随阶段与降落阶段结合起来，实现了无人机全自主目标跟随与着陆的全过程。本文通过实验分析了基于射影几何的单目视觉定位的“二义性” 问题、验证了射影几何与
13、 PTAM 算法的位置估计精度、以及卡尔曼滤波器的速度估计精度，最后分析验证了视觉伺服与射影几何相结合的着陆控制方法的有效性。主题词：目标跟随；着陆；无人机；射影几何；PTAM；卡尔曼滤波；视觉伺服国防科学技术大学研究生院硕士学位论文第 ii 页ABSTRACTTarget following and landing is one of the important contents of the autonomous flight of UAVs. It can not only be used to monitor the target in unknown environments but
14、 also guide landing of UAVs on the place which may dynamically change in unknown environments. Vision-based target following and landing of UAVs is one of most popular research topics because of its low-cost, high-precision and informative characteristics. In this paper, we use the monocular camera
15、as the main sensor and AR.Drone 2.0 as the platform to study the target following and landing of UAVs in unknown environments. This research includes two aspects: target following and landing. In the target following stage, we use projective geometry to establish the relative coordinate between the
16、camera and target, and obtain the 3D position of the target in this coordinate system. Then we use the PTAM algrithom to obtain the 6DOF pose of the UAV and establish the world coordinate system, so we can use the relationship between the camera coordinate system and the world coordinate system to o
17、btain the 3D position of the target in the world coordinate system. We use the kalman filter to estimate the velocity of the target and design an object searching method to deal with the problem that the target moves out of the field of view of the camera. In the landing stage, we combine the advata
18、ges of projective geometry and visual servo to control the landing of UAVs.We solved some of the problems in the process of target following and landing. The first one is the problem of UAV position missing when the target moves out of the field of view of the camera when using relative coordinate s
19、ystem. We solved it by combining projective geometry and PTAM algrithom. The second problem is target missing. We use the kalman filter to estimate the velocity of the target so when the target is missing, the UAV can search it efficiently according to the moving direction before it is lost. The thi
20、rd problem is that when the target is incomplete in the image, the control algorithm based on projective geometry will not work. We solved it by combining visual servo control. At last, we realize autonomous target following and landing on it for UAVs.Furthermore, we analysed the ambiguity problem c
21、ased by projective geometry when using monocular camera. Then we analysed the localization accuracy of the vision system and the estimation accuracy of the target velocity based on the kalman filter. At last we analysed the efficiency of the controller for UAV landing.Key Words: Target following; La
22、nding; UAV; Projective geometry; PTAM; Kalman filter; Visual servo国防科学技术大学研究生院硕士学位论文第 1 页第一章 绪论1.1 课题研究背景和意义无人机（Unmanned Aerial Vehicle, UAV）是一种没有机载乘客与驾驶员的，并且具有一定智能的飞行器。无人机有着不同的分类，按飞行机构平台分类，可以分为旋翼无人机、伞翼无人机、固定翼无人机、扑翼无人机等。按尺度分类，无人机可以分为大型无人机、小型无人机、轻型无人机、微型无人机等。随着无人机技术的发展与成熟，无人机正在各行各业有着越来越广泛的应用。在军用领域，无人
23、机可以用来侦察、监视、巡逻与打击等。在民用领域，无人机可以用来气象观测、航拍、农药喷洒、快递运输等。随着其越来越广泛的应用，无人机已成为机器人领域的研究热点之一。早在 1849 年就有关于无人飞行器的使用记载，当时奥地利用载有炸药的无人飞行气球攻击意大利威尼斯。1916 年 Sperry Gyroscope 公司的 Elmer Sperry将陀螺仪应用于无人机的控制。上个世纪 30 年代早期，无线电遥控的无人机靶机在美国和英国得到发展。1942 年 4 月美国研制的攻击型无人机使用 TG-2 控制成功实现了对距离 20 英里的驱逐舰进行攻击。20 世纪 70 年代，美国在越南北部、中国和朝鲜地
24、区开始使用侦察型无人机。20 世纪 80 年代开始，无人机在战场中逐渐开始得到应用。1995 年美军将“捕食者 ”无人机用于科索沃战争中进行地形侦查，无人机的战场作用被进一步重视。进入 21 世纪，无人机在军用与民用上都得到了越来越多的应用，无人机技术也越来越成熟。无人机的翼型变化与轻便材料的应用都大大提高了无人机的续航时间。图像等数据传输的速度与带宽也随着信号处理与通信技术的进步而大大提高。而自驾仪技术的发展也使得无人机可以摆脱陆基电视屏幕的领航，而由机载程序自动控制飞往目标点。总之，随着无人机的广泛应用，全自主无人机的研制也成为研究人员研究的热点。其中，无人机目标跟随与自主着陆是无人机研究的热点之一。因为全自主的无人机目标跟随与自主着陆有以下优点：（1）全自主的目标跟随可以节省大量的人力，无需操作手长时间手动控制无人机跟随目标，比如航拍，而且在未来的战场中可能会需要数量众多的无人机同时执行任务，如果仅用人工控制会消耗大量人力，而且需要对操作人员进行长期反复地训练。（2）全自主的无人机目标跟随与着陆往往有着精度更高的优点，因为其基于视觉或其他传感器的着陆控制往往可以得到较精确的无人机与目标的位置信息，与一般的人工控制相比精度要高。
