1、本科毕业论文（20 届）基于四轴飞行器的视频拼接与合成算法的研究所在学院 专业班级 电子信息工程 学生姓名 学号 指导教师 职称 完成日期 年 月 II摘 要通过对国内外无人机机载亿级像素全景监控图像系统进行调研和分析，研发了基于高普适性的 SURF 视频拼接算法，实现对多种复杂情况的视频图像序列进行拼接与合成；研发了基于高精度图像采集装置的快速视频图像序列拼接算法。并通过自主设计，研发出了搭载视屏拼接与合成算法的全景监控系统的四旋翼飞行器及其飞控电路板。进行大量调试与飞行测试工作之后，利用四轴飞行器搭载监控系统对户外的俯拍区域进行大范围监控，或对室内环境进行全景快速侦查和监控，并能利用外部摄
2、像机实现对飞行器的跟踪与识别。该系统分为图像采集与视频拼接系统、四旋翼飞行器及其控制系统、图像分析与标识系统三部分。关键词：视频拼接与合成，四轴飞行器，机载摄像机，无人机空间导航III目 录摘 要 .IAbstract.II目 录 .III第 1 章 绪论 .11.1 课题来源及应用背景 .11.1.1 课题来源 .11.1.2 应用背景 .11.2 图像（视频）拼接概念和研究意义 .21.2.1 图像（视频）拼接一般流程 .21.3 国内外研究动态 .31.3.1 图像（视频）拼接技术的发展 .31.3.2 图像（视频）拼接算法的研究现状 .41.4 图像（视频）拼接技术的发展方向 .61.
3、5 课题研究内容 .71.5.1 研究目标 .71.5.2 研究内容 .71.5.3 课题难点 .81.5.4 创新点 .81.6 小结 .8第 2 章 视频拼接与合成算法的研究 .92.1 视频图像分析与处理 .92.1.1 视频图像及其特点分析 .92.1.2 视频序列图像分析及处理 .102.2 SIFT 特征提取与描述 .112.2.1 SIFT 算法 .112.2.2 SIFT 特征描述 .142.3 SURF 特征提取与描述 .162.3.1 积分图像 .162.3.2 DoH 近似 .162.4 基于高普适性的 SURF 视频拼接算法 .182.4.1 基本原理与实现的步骤 .1
4、82.4.2 基于高普适性的 SURF 视频拼接算法实际效果测试 .23IV2.4.3 图片采集场地及拼接效果说明 .282.5 基于高精度图像采集系统的快速拼接算法 .282.5.1 应用特点 .282.5.2 基本原理 .292.5.3 实现步骤 .302.5.4 实现效果 .322.6 小结 .34第 3 章 视频拼接算法硬件载体：四轴飞行器的设计与研究 .353.1 四轴飞行器的基本概念 .353.1.1 选择设计四轴飞行器的原因 .353.1.2 国内外四轴飞行器的研究现状 .353.1.3 四轴飞行器的优点 .363.1.4 四轴飞行器的飞行控制机理 .373.2 四轴飞行器的硬件
5、设计 .403.2.1 四轴飞行器的基本硬件 .403.2.2 四轴飞行器主控芯片的最小系统设计 .443.2.3 四轴飞行器变压与供电模块电路设计 .463.2.4 四轴飞行器六轴陀螺仪加速度计 MPU6050 模块电路设计 .473.2.5 四轴飞行器无线通讯模块电路设计 .483.2.6 四轴飞行器电机驱动模块电路设计 .493.2.7 四轴飞行器硬件电路 PCB 设计 .503.3 四轴飞行器的软件设计 .583.3.1 用到的知识体系 .583.3.2 控制原理 .593.3.3 PID 控制算法的基本原理 .593.4 小结 .60第 4 章 机载视频拼接系统的实现 .614.1
6、机载视频拼接系统的硬件平台搭建 .614.2 机载图像采集装置的信号测试与电路设计 .624.3 机载视频拼接系统的整体测试 .654.4 小结 .65第 5 章 无人机全景监控图像系统的转换应用 .665.1 无人机全景监控图像系统的转换应用介绍 .665.1.1 应用内容 .665.1.2 应用背景 .665.2 无人机空间导航方法 .665.3 小结 .75第 6 章 总结与展望 .76V6.1 工作总结 .766.2 工作展望 .78本科期间取得的研究成果 .80参考文献 .81致 谢 .82附 录 .83第 1 章 绪论1第 1 章 绪论1.1 课题来源及应用背景1.1.1 课题来源
7、本课题源自北京大学信息科学技术学院视频编解码技术国家工程实验室于 2013 年 12月订立的课题：“无人机亿像素自动实时地面全景监视图像系统” 。本课题研究将完成该项目的核心关键技术。1.1.2 应用背景目前对室内环境的侦查和对室外环境的监控和分析通常采用人工现场调查或者卫星遥感和载人机航空影像等，卫星遥感影像的缺点是分辨率、精度相对较低，数据获取受限因素较多；载人机航空影像的缺点是费用很高，作业流程非常复杂，效率较低。因而目前出现了新兴的低空遥感技术，将监控系统安装于无人机上进行低空侦查和航拍影像。但是这些低空航拍影像大多使用单个普通相机或摄像机进行拍摄，其缺点是只能获取点状或者带状小范围的
8、影像，视野受限较为严重。使用单个普通相机获取宽视野的场景图像时，因为相机的分辨率一定，拍摄的场景越大，得到的图像分辨率就越低；而全景相机、广角镜头等不仅非常昂贵，而且失真也比较严重。为了在不降低图像分辨率的条件下获取超宽视角全景图或者是大面积监控图，我们将研发的快速图像、视屏拼接算法应用于无人机亿像素自动实时地面全景监视图像系统上，实现较低成本、高效率和高灵活性的图像、视频监控系统。无人机亿像素自动实时地面全景监视图像系统能对大范围的面积进行监控并突破 10 公分的地面分辨率；能自动对车辆大小的移动目标进行标识和分析。此外，上述卫星遥感和载人机航空影像两种技术也无法对室内环境进行侦查和监控，对
9、于室内发生的类似于火灾等危险性高的紧急情况，一般需要消防人员冒着生命危险进行大范围，无目标性地搜索，研发的基于微小型四旋翼飞行器的机载视频监控系统，能够替代人类进行这些高危险性侦查和监控工作，实现对这一类高危险性情况的室内环境的侦查和确定受灾人员或物品的空间方位，方便相关人员进行有目标性的行动和决策。本课题作为大型无人机自动实时地面全景监视图像系统的前端小型化模型，在时间允许的条件下将率先研发或利用小型四旋翼飞行器搭载摄像头进行视频拼接与合成算法的测绪论2试，为将来的大型军用设备的实现提供支持。1.2 图像（视频）拼接概念和研究意义图像拼接，就是研究如何利用计算机完成若干幅具有部分重叠区域的小
10、视角图像的无缝拼接，得到一幅宽视角的全景图像，满足人们在各领域研究的需要。 1视频拼接技术是将多个成像传感器输出的存在重叠部分的多幅视频图像，首先进行多路采集和预处理，然后根据各个视频图像的特征运用不同的处理算法进行匹配对准，经重采样融合后形成一幅包含多个成像传感器的图像的全视角、高清晰的视频图像的技术。 2数字成像设备（数码相机、数码摄像机等）的普及使得数码图像得到了越来越广泛的应用。在实际的科学研究和工程项目中，经常会用到超过人眼视角的超宽视角图像。由于距离的限制，普通数码相机的视角往往不能满足需要，某些超大尺寸的物体无法用一张照片拍摄下来。为了得到大视角的高分辨率图像，人们往往利用广角镜
11、头来解决这一问题。然而，在一些特殊环境下，设备本身的限制使得数字图像和视频的视场宽度不能满足应用要求，如利用广角镜头虽然也可得到宽视角的图像，但广角镜头的边缘会产生难以避免的扭曲变形，而且像广角镜头这样的特殊设备往往价格昂贵，使用费用较高。随着计算机和图像处理技术的发展，图像拼接技术为得到超宽视角图像提供了很好的解决方案。它可将一系列有重叠边界的普通图像或视频图像进行无缝拼接，从而得到超宽视角图像。1.2.1 图像（视频）拼接一般流程图像配准和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础，而且图像配准算法的计算量一般非常大，因此图像拼接技术的发展很大程度上取决于图像配准技术的创新
12、。早期的图像配准技术主要采用点匹配法，这类方法速度慢、精度低，而且常常需要人工选取初始匹配点，无法适应大数据量图像的融合。图像拼接方法很多，不同的算法步骤会有一定差异，但大致的过程是相同的。一般来说，图像拼接主要包括以下五部：图像预处理。包括数字图像处理的基本操作（如去噪、边缘提取、直方图处理等） 、建立图像的匹配模板以及对图像进行某种变换（如傅里叶变换、小波变换等）等操作。图像配准。就是采用一定的配准策略，找出待拼接图像中的模板或特征点在参考图像中对应的位置，进而确定两幅图像之间的变换关系。建立变换模型。根据模板或者图像特征之间的对应关系，计算出数学模型中的各参数绪论3数值，从而建立两幅图像
13、的数学变换模型。 3同一坐标变换。根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换。融合重构。将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。图 1-1 给出了图像拼接的基本流程图。 3图 1-1 图像拼接基本流程1.3 国内外研究动态在过去的十几年中，图像（视屏）拼接得到了快速的发展，虚拟现实技术和图像（视频）拼接算法方面的许多重要问题经过长期努力正得到逐步的解决和完善。首先通过继承图像（视频）拼接研究十几年的成果与精华，有助于本课题的顺利完成。1.3.1 图像（视频）拼接技术的发展图像拼接是基于 IBR 技术的重要研究领域。 20 世纪 70 年
14、代开始，很多研究者开始对图像拼接算法进行深入的研究。Kuglin 同 Hines 在 1975 年提出了图像相位相关法，使用傅里叶变换将两幅待拼接的数字图像变换到频域，再使用互功率谱直接计算出两幅图像之间的平移量。De Castro 同 Morandi 在 1987 年提出了图像的扩展相位相关法，使用傅里叶变换的性质可以实现具有旋转和平移变换的图像配准。由于快速傅里叶变换算法的提出，信号处理领域对傅里叶变换的使用更加广泛，Reddy 同 Chetterji 研究出了基于快速傅里叶变换（FFT based）的图像配准算法，利用极坐标的变换及互功率谱，对具有平移、旋转和尺度变化的图像都能实现比较精
15、准的配准。除了傅里叶变换以外，研究者们还选择了更可靠、更符合人眼视觉生理特征的变换，例如使用 Gabor 变换和小波变换进行数字图像拼接。Harris 在 1988 年研究出了 Harris 角点检测器，此算法是利用自相关函数来找到信号发生二维变化的位置，此算法提取的角点具有旋转和平移不变性而且能达到亚像素级的精度。Blaszka T.同 Rachid Deriche 在 1994 年使用二维高斯模糊过滤得到了一些低级的特征模型。绪论4此后越来越多的研究者开始研究基于特征的数字图像拼接算法。Leila M, G. Fonseca 同 Jun-wei Hsieh 等人在 1997 年提出一种局域
16、小波变换的多尺度分析方法，首先对数字图像做小波变换，然后计算小波变换的模值，模的局部极大值点就是数字图像中的边缘特征点。 41994 年，Lindeberg 奠定了局部不变性特征方法的理论基础。在 Lindeberg 的尺度空间理论中，各种高斯微分算子与哺乳动物的视网膜和视觉皮层的感受域剖面有着高度的相似性，所以，尺度空间理论经常与生物视觉相关联，有人也称图像局部不变性特征方法为基于生物视觉的不变性方法。 5Lowe 总结了现有的特征提取方法，并提出了一种新型高效的特征检测描述方法SIFT（Scale Invariant Feature Transform） 。SIFT 的主要思路是：首先建立
17、图像的尺度空间表示，然后在尺度空间中搜索图像的极值点，由极值点再建立特征描述向量，最后用特征描述向量进行相似度匹配。采用 SIFT 方法提取的图像特征具有放缩不变性、旋转不变性，仿射不变性，还有一定的抗光照变化和抗视点变换性能。该特征还具有高度的可区分性，能够在一个具有大量特征数据的数据库中进行精确地匹配。SIFT 还使用金字塔算法大大缩小了提取特征时的运算量。计算方法分为四个步骤：尺度空间极值提取、特征点定位、特征方向赋值和提取特征点描述。 61.3.2 图像（视频）拼接算法的研究现状图像拼接技术主要包括两个关键环节即图像配准和图像融合对于图像融合部分，由于其耗时不太大，且现有的几种主要方法
18、效果差别也不多，所以总体来说算法上比较成熟。而图像配准部分是整个图像拼接技术的核心部分，它直接关系到图像拼接算法的成功率和运行速度，因此配准算法的研究是多年来研究的重点。 7目前的图像配准算法基本上可以分为两类:基于区域的方法(相位相关方法)和基于特征的方法。1、基于区域的拼接方法基于区域的拼接方法是利用图像区域之间的像素的相关性等进行匹配。目前常用的基于区域图像拼接算法有比值匹配法、基于块匹配方法和网格匹配法等。这几种方法均未考虑图像间的旋转、尺度缩放等因素的影响，适用于图像间只有水平、垂直位移的情况。（1）基于块的匹配取第一幅图像处于重叠部分的一块作为模板，利用相关运算，在第二幅图像中搜索
19、具有相同（或相似）值的块，从而确定重叠范围 8。只要块取得足够大，这种算法的精度较绪论5高，但计算量过大。（2）比值匹配在第一幅图像的重叠区域中，相隔一定距离的 2 列上取出部分像素，用它们的比值作为模板，在另一幅图像中利用相位相关运算搜索最佳匹配 9。该算法计算量较前一种算法有所减少，但仍较大，并且在计算比值时需要大量的除法，精度也有所降低。也有文献采取增加比值模板列数来改善上述比值法的匹配问题，但计算量仍较大。（3）基于网格的快速匹配在基于块的匹配基础上，为了减少运算量，在搜索过程中，首先进行粗略匹配，每次水平或垂直移动一个步长，计算对应像素点 RGB 值的差的平方和，记录最小值的网格位置
20、；其次，以此位置为中心进行精确匹配。每次步长减半，搜索当前最小值，循环这个过程，直到步长为 0，最后确定出最佳匹配位置 10。该算法虽然在运算速度上较前 2 种算法有所改善，但是在粗略匹配过程中，移动的步长较大，很有可能将第一幅图像上所取的网格划分开，这样将造成匹配中无法取出与第一幅图像网格完全匹配的最佳网格，很难达到精确匹配。2、基于特征的拼接方法基于图像特征的拼接方法是提取图像边界、轮廓和拐点等特征进行匹配，构造方程组，通过数值计算得到变换参数，目前常用的基于特征的图像拼接算法有基于轮廓特征的图像匹配算法、基于角点的图像匹配算法、基于 SIFT（scale invariant featur
21、e transform）的图像匹配算法、基于小波变换模极大值的图像匹配算法等。这几种方法均适用于图像间具有平移、旋转、缩放和变焦距等的情况。（1）基于轮廓特征的匹配算法在俞辉的一种基于轮廓特征的图像拼接算法设计 11中，采用提取轮廓特征的方法进行匹配。首先对图像用 LOG 算子模板做卷积，然后分别在垂直和水平两个方向上检测符号变化的点（过零点）作为边界点。其次为边界点定义强度函数，并使用双阈值方法对边界点进行过滤和组合，将相邻的边界点连缀成完整的轮廓曲线。提取轮廓之后，利用链码对轮廓进行描述，在匹配阶段，用闭合轮廓的五个形状特征进行匹配：周长、离质心最长和最短的边界点、Hu 变换中的一阶和二阶不变矩。基于轮廓特征的方法要求待配准的图像中可以提取出明显的轮廓特征，如果图像中无法提取出明显的轮廓特征，例如一块天空，那么就无法达到精确配准的要求。（2）基于角点的图像匹配算法该算法是通过在图像中沿圆弧曲线扫描得到的角点的信息（夹角、边缘方向）来进行
