1、本科毕业设计（20届）基于特征点匹配的多视点图像颜色校正方法研究所在学院专业班级电子信息科学与技术学生姓名学号指导教师职称完成日期年月I摘要【摘要】针对多视点视频系统中视点间颜色不一致的问题，提出了颜色校正这一概念。但是一些颜色校正方法受到图像旋转、尺度缩放、光照变化等方面的限制，而本论文提出的一种基于特征点匹配的多视点图像颜色校正方法特色之处是运用了SIFT特征匹配算法，能够提取稳定的特征点信息，增强匹配能力首先在图像的尺度空间中进行极值检测，精确定位特征点的尺度和主方向并生成SIFT特征向量，然后对特征点进行双向匹配确定特征点对，最后先将RGB颜色空间转换成CIELAB颜色空间实现颜色校正
2、，再将校正图像转换成RGB颜色空间。实验结果表明，该方法校正效果良好。【关键词】特征点取值；特征点匹配；颜色校正；多视点图像。ABSTRACT【ABSTRACT】FORINTERVIEWCOLORINCONSISTENCIESINMULTIVIEWVIDEOSYSTEM,PUTFORWARDTHECONCEPTOFCOLORCORRECTIONHOWEVER,SOMECOLORCORRECTIONSARERESTRICTEDBYTHEIMAGEROTATION,SIZESCALING,ILLUMINATIONANDOTHERCONSTRAINTS,ANDOURPROPOSEDCOLORCORR
3、ECTIONMETHODFORMULTIVIEWIMAGEBASEDONFEATUREPOINTMATCHINGSSPECIALFEATUREISTHATUSEOFTHESIFTFEATUREMATCHINGALGORITHM,WHICHCANEXTRACTSTABLEFEATUREPOINTINFORMATION,ANDENHANCEMATCHINGCAPABILITIESFIRST,DETECTEXTREMEVALUESINTHEIMAGESCALESPACE,LOCATETHESCALEANDTHEMAINDIRECTIONOFFEATUREPOINTSACCURATELYANDGENE
4、RATESIFTFEATUREVECTORSANDTHENDETERMINEFEATUREPOINTSBYATWOWAYMATCHINGFINALLY,CONVERTTHERGBCOLORSPACEINTOCIELABCOLORSPACETOACHIEVECOLORCORRECTION,ANDTHENCONVERTTHEIMAGECORRECTIONINTORGBCOLORSPACEEXPERIMENTALRESULTSSHOWTHATTHECORRECTIONEFFECTISGOOD【KEYWORDS】FEATUREPOINTVALUEFEATUREPOINTSMATCHINGCOLORCO
5、RRECTIONMULTIVIEWIMAGESII目录1绪论111课题背景及意义112颜色校正方法的研究现状113论文的组织结构及拟解决的主要问题2131论文的组织结构2132本文拟解决的主要问题22颜色校正方法的相关知识321颜色校正方法研究背景3211颜色空间3212颜色空间与颜色校正的关系622颜色校正方法的种类6221直方图匹配的颜色校正方法6222面向编码和绘制的多视点图像颜色校正方法7223一种基于多模式融合的多视点图像颜色校正方法7224基于使用视点网络能量最小化的多视点视频颜色校正方法823本章小结93SIFT特征匹配算法1031前言1032SIFT算法的发展历程1033SIF
6、T特征匹配算法10331SIFT特征匹配算法的概念及特点11332SIFT特征匹配算法构造1134本章小结154基于特征点匹配的多视点图像颜色校正方法1641前言1642设计思路1643设计过程16431特征点的取值16432特征点的匹配17433颜色校正1744实验结果处理及分析1845本章小结265结论与展望2851本论文的工作总结2852进一步研究方向28参考文献29致谢错误未定义书签。附录3211绪论11课题背景及意义随着信息时代的日益拓新，现今存有的2D视频系统越来越不能满足人们的需求。在传统的视频系统中，用户不能自由选择视点或角度来观察自身想要看到的真实场景，只能被动地观看摄像机在
7、单一视点上所摄制的视频图像序列，因为它人为地由摄像师或导演选择决定，故只能单方面地反映真实世界场景的一个侧面1。然而随着生活质量的不断提升，人们期望的是能够自由地选择各个不同的角度去观察和分析事物，故应时代要求而产生的自由视点视频FVV，FREEVIEWPOINTVIDEO就是一种先进的视觉媒体模式2，每个视点独立地接受多相机系统在同一场景的特定摄像点的拍摄，并通过一定技术生成任意点的视频，这样就能允许人们从不同视点和方向享受更为真实的3D图像3。同时随着3D显示技术的进一步地发展，其它领域如全景显示、立体视频技术等也得到了广泛的关注，由此证明自由视点视频的显示已不是遥不可及的梦想4。基于3D
8、的交互性与图像的真实感，自由视点视频在远程教育、远程监视、虚拟现实系统等多个方面有着良好的应用前景4。但是正所谓没有一样现今世界上的事物是十全十美的，在显示其优越性的同时也暴露了其不足之处。自由视点视频在实现过程中遇到的主要问题是视点间图像颜色是不尽相同的。在图像采集过程中由于各摄相机的基线不能保证在同一水平轴上，且又由于场景光照、摄相机CCD噪声、快门速度和曝光等因素的影响，都会导致不同摄相机拍摄到的任意视点图像的颜色值差别很大，故必须对多视点图像颜色进行校正，将同一对象的不同颜色外表校正到同一颜色，以消除视点间图像中亮度和色度的差异5，然后针对结果进行分析和比较，保证尽可能可靠，这也为后续
9、多视点图像的处理带来方便1。因着上述提到的缘由推出了颜色校正这一概念，而本论文重点阐述的是基于特征点匹配的颜色校正这一方法，它相较于直方图匹配颜色校正方法等特色之处在于利用尺度不变特征变换（SIFT，SCALEINVARIANTFEATURETRANSFORM）算法6，能在差异较大的两幅多视点图像之间实现特征点匹配，大大提高了颜色校正的精确性，是一种有效的颜色校正方法。12颜色校正方法的研究现状颜色校正其实并不是一个新的概念，人们在很早之前就已经提出了一些颜色校正方法。2PHAM和PRINGLE通过检测相邻图像间的重叠区域来构造出一个多项式映射函数；JACKOWSHI等则通过利用3个合理的曲面
10、作为映射函数来实现颜色校正；GUIYUNTIAN等也是通过检测全景图像的重叠区域，而后建立直方图映射，实现对全景图像的颜色校正。然而上述方法中存在着不足，针对此种状况，REINHARD等第一次提出采用均值和均方差这样统计信息的方法在图像间实现颜色校正。但是由于全局信息并不能完全反映各区域间颜色变化的趋势，因此许多研究者考虑到从区域匹配或区域分割的角度提出了一些校正方法例如MAOJUNZHANG等根据主区域的信息来构造映射函数；CLEMENTFREDEMBACH等利用基于区域的图像分类方法来实现自动颜色校正等等4。13论文的组织结构及拟解决的主要问题131论文的组织结构第一章为绪论，首先叙述了自
11、由视点视频系统的研究意义，而后针对该研究中出现的问题重点提出基于特征点匹配的颜色校正方法及其特色之处，同时阐述了颜色校正方法的研究现状，最后给出了全文内容的安排。第二章简单介绍了一些与颜色校正方法相关的基础知识，提出了颜色空间这一概念，并了解两种颜色空间，以及颜色空间与颜色校正的关系，最后描述了几种颜色校正方法并针对该颜色校正方法指出了它的利弊之处。第三章详细地介绍了本课题中运用到的SIFT算法，指出了该算法的优越之处，并且对其发展状况也作了简明扼要的讲解。本章重点在于具体介绍了与本论文相关的SIFT特征匹配算法，让我们了解该算法是如何在图像中找到不受外因影响而保持不变特性的特征点，从而实现差
12、异较大的两幅多视点图像之间特征的匹配。第四章主要对本课题研究的内容进行了具体描述，即首先通过（SIFT）算法分别在参考图像和源图像之间进行极值检测找到特征点，再利用尺度不变特征变换特征向量进行特征点匹配，然后在CIELAB颜色空间中使用乘性误差和加性误差对源图像的每个像素点进行颜色校正，最后将校正图像转化到RGB颜色空间。第五章对本论文进行了总结，并针对该课题给出了下一步的研究方向。132本文拟解决的主要问题特征点的取值，即如何使用尺度不变特征变换（SIFT）算法在尺度空间中找到参考图像和源图像的特征点。特征点的匹配，即如何利用所得到的特征点，获取匹配的特征点对。颜色校正，即如何对源图像进行颜
13、色校正，使其与参考图像的颜色相似。32颜色校正方法的相关知识21颜色校正方法研究背景为了处理颜色不一致的问题，我们得了解一些与此相关的知识首先阐述颜色空间的概念和介绍几种常用的颜色空间，并且引出了颜色空间与颜色校正的关系；然后简单地描述了部分颜色校正方法，同时指出了它们各自存在的优缺点。211颜色空间颜色空间，又称为颜色坐标系（或彩色空间、彩色系统），是颜色在三维空间中的排列方式，本质上，它阐述了坐标系统及其子空间。按现实生活中的特定需要颜色空间可以分为多种，常用的有RGB，CIE等其中RGB（红绿蓝，色光三原色）是依据人眼所识别出来的颜色定义的空间，它可以表示大部分颜色，现主要用于电视机和计
14、算机的颜色显示系统；CIEXYZ和CIELAB是由国际照明委员会（CIE）定义出来的颜色空间，它们用于颜色的基本度量，而两者中的CIELAB颜色空间主要用于计算机色调的调整以及实现颜色校正。（1）RGB空间RGB颜色空间是一种与人的视觉系统结构密切相连的模型，由于现有的图像采集设备最初采集到的颜色信息是RGB值，并且人们直观看到的颜色值也是RGB值，同时图像处理过程中使用到的其它颜色空间都是从RGB颜色空间转换而来的，故图像处理中最基本、最常用的就是RGB颜色空间，其空间描述如图21所示。4图21RGB颜色空间但在科学研究上一般不采用RGB颜色空间，因为从RGB值中很难知道该值所表示的颜色的认
15、知属性。其次，我们很难区分RGB颜色空间的色调、亮度和饱和度；同时它又是最不均匀的颜色空间之一，该颜色空间中两个颜色之间的距离不能用颜色间的感官差异来表示4。因此人们基本上不会直接利用RGB颜色空间，而是将其作为一个跳板例如，本论文中介绍的颜色校正就不是直接在RGB颜色空间上实现，反而将其转换成CIELAB颜色空间进行颜色校正，然后将校正图像用RGB颜色空间进行显示，达到人们期望的效果。（2）CIE（COMMISSIONINTERNATIONALDECLAIRAGE法语名称）空间在现今颜色感知的研究中，CIE颜色空间是其中一个最先采用数学方式定义出来的颜色空间，它由国际照明委员会（CIE）于1
16、931年创立7，图22显示了CIE1931颜色空间的色度图。图22CIE1931颜色空间色度图WDAVIDWRIGHT8和JOHNGUILD9曾经独立地进行了一系列人类视觉实验，进而提供了CIEXYZ颜色空间（国际照明委员会定义的颜色空间，X、Y和Z为想象的三种相加基色10）规定的基础，而CIELAB是惯常用来描述人眼可见的所有颜色的最完备颜色模型，它是从CIEXYZ中直接导出的颜色空间，本意是线性化色差的感知11。CIELAB是由亮度信息L（值域由0到100，L0指示黑色而L100指示白色）和有关颜色信息的A（表示从红色至绿色的范围，负值表示绿色而正值表示红色）和B（表示从黄色至蓝色的范围，
17、负值表示蓝色而5正值表示黄色）三个要素组成。由于LAB描述的是颜色的显示方式，而不是设备（如显示器、桌面打印机或数码相机）生成颜色所需的特定色料的数量，所以LAB被认为是与设备无关的颜色模型；而且LAB模型是三维模型，故它只能在三维空间中完全表现出来。图23显示了CIELAB颜色空间的结构信息。图23CIELAB颜色空间由于在CIELAB颜色空间中的颜色校正效果更好，因此需将RGB空间转换成CIELAB空间，而中间由CIEXYZ颜色模型作为中介，故RGB与CIEXYZ间的转换可以描述为4BGRZYX93901300020007107070222017803420431021ZYXBGR0691
18、2290068004208761969047603931063322而从XYZ到CIELAB的转换可以表示为/200/50016/116NNNNNZZFXXFBYYFXXFAYYFL23其中0088560,116/1678770088560,3/1TTTFTTTF，而NX、NY、NZ作为参考白光的三色刺激值。反变换可以描述为6定义200/500/116/16BFFAFFLFYZYXYNZZNZNXNXNYYNYZFZFZZFXFXFXXFYFYFYYF2323X233116/16,3116/16,3116/16,否则则如果否则则如果否则则如果，其中29/6LAB颜色模型除了上述提到的不依赖设备
19、的优点外，还具有其它的优势它不仅包含了RGB的所有色域，还能表现出它们所不能表现的色彩。另外，LAB颜色模型弥补了RGB颜色模型中颜色分布不均的不足之处由于RGB模型在蓝色到绿色之间的过渡色过多而在绿色到红色之间又缺少黄色及其它色彩，因此如若我们想在数字图形的处理中保留尽量宽阔的色域和丰富的色彩则最好的选择便是LAB颜色模型。212颜色空间与颜色校正的关系颜色校正指的是调整图像的色泽、阴影、色调、高亮区和颜色的饱和度等，进而弥补图像在各方面表现出来的缺陷，使其在显示上产生更好的效果。就校正而言，通过大量的实验12比较发现，针对33的校正矩阵，应采用CIELAB颜色空间。在我们的算法中采用的一些
20、颜色空间，目前来说是最优的，但并不是绝对的，或许采用一些更先进的空间能取得更好的效果，这在以后的研究中会进行进一步考虑。22颜色校正方法的种类当前多视点信号处理已经成为了研究的热点和重点，作为多视点信号处理中的一项关键技术，多视点视频颜色校正也得到了广泛的重视，因此有必要对其进行研究。在本节中我们提出了几种颜色校正算法，下面进行简单地介绍。221直方图匹配的颜色校正方法直方图是图像处理中一种简单且实用的工具，它提供了图像亮度信息的整体分布情况；而直方图匹配是现今通常采用的颜色校正手段，它的基本思想是通过计算参考图像和源图像的累计直方图，并在它们之间建立像素的映射关系，与一维直方图匹配不同的地方
21、在于它是通过对三维空间的连续采样，建立起类似一维的匹配函数但又完全满足三维直方图的特性，最终实现对颜色图像的校正13。该方法的优越之处在于计算复杂度较低，能够较好地消除视点间存在的颜色差异，同时也可以带来很好的视频编码性能14，但是若多视点图像发生旋转、尺度缩放、视角变换、光照变换等变化，直方图匹配就不能保持良好的图像匹配性，且映射精度较低1。7222面向编码和绘制的多视点图像颜色校正方法该方法首先采用的是从连续众多帧中求帧差法来提取多视点图像的背景区域并用此获取校正因子，然后利用校正因子建立视点间图像颜色的映射关系，针对颜色不一致的视点进行颜色校正，同时采用视频跟踪技术，将当前时刻提取的背景
22、轮廓作为下一时刻的初始背景轮廓，用以提高背景的提取准确度并降低计算的复杂度15，如图24所示。该方法利用背景区域实现颜色校正，有利于获得比较一致的参考平面，达到视点间图像颜色的一致性，而且能有效地改善虚拟视点绘制图像的质量16和提高多视点视频的编码效率17，是一种有效的多视点视频系统颜色校正方法，但是也存在其缺陷之处，即不适合客户端任意视点的绘制18。图24该颜色校正方法的操作流程223一种基于多模式融合的多视点图像颜色校正方法由于成像环境和装置的不确定性，造成在对多视点图像进行颜色校正时不能预知其满足何种校正模式，而该方法定义了四种（线性和非线性）校正模式。首先视差估计输入的源图像和参考图像
23、，将得到的匹配块作为样本，然后分别用四种校正模式训练该样本，从而得到各种模式下的校正参数，最后用基于最小均方误差准则融合各种校正模式19，得到最终的校正图像（如图25所示）。实验过程中发现各模式通道间的相关性不能忽视，将它们融合在一块对图像进行校正可以实现参考图像与校正图像的最小均方根误差，具有较好的校正效果20。8图25该颜色校正方法的操作流程224基于使用视点网络能量最小化的多视点视频颜色校正方法当视点转换或当自由视点视频显示时，视点之间的颜色校正采用IBR多视点系统可以使观众的视觉感到舒适。该颜色校正方法的步骤第1步我们从多视点中人工选择一个参考视点，被称为目标视点的其它视点将会校正到与
24、此参考视点有相似的颜色；第2步在一个给定时间内我们在图像视点间检测对应；第3步通过利用对应检测对应颜色；第4步针对每个RGB通道计算其查找表来表示颜色修改度，在此我们在计算中假定一个朗伯条件；第5步通过利用这些表校正视频中所有图像的目标视点21，图26描述该方法的整个流程，其中每个矩形代表一个步骤，圆角矩形代表双循环。该校正方法的特点在于利用尺度不变特征变换（SIFT）算法来检测匹配，能够独立地处理RGB通道，及利用计算查找得到的能量最小化的方法表来校正拍摄到的视频。实验结果表明该方法效果良好，但是在找能量的局部最小值时需更先进的方法22。9图26该颜色校正方法的操作流程23本章小结本章首先提
25、出了颜色空间这一概念，并简单地对其进行了分类，紧接着介绍了与本课题有关的两颜色空间（RGB颜色空间和CIE颜色空间），以及它们各自的应用领域，由于颜色校正发生在CIELAB颜色空间，故还特别描述了两颜色空间之间的转换关系。然后简单例举了几种颜色校正方法，针对它们本身如何实现以及各自的优缺点都做了一定程度的叙述，从而让我们知道正确掌握颜色校正工具功能的作用范围及其颜色校正的规律是处理高质量图像的关键技术之一。正确的颜色校正，可使颜色鲜艳，颜色中的层次丰富；而校色过量会造成颜色失真，颜色中的层次并级；校色不足，则造成颜色灰暗，饱和度不足。因此，我们一定要明确颜色校正的概念和方法，不断在实践中总结颜
26、色校正的经验，把实践经验变为规律性的认识，并将这些规律性认识上升为理论，然后用理论指导实践，让图像的颜色处理水平有一个突破性的飞跃。103SIFT特征匹配算法31前言颜色校正是现今虚拟世界、计算机视觉等领域中的一个研究热点，有关研究人员在这方面进行了大量的研究，并针对此提出了很多颜色校正方法，但是这些方法或多或少有些缺陷，而随着图像技术和计算机技术的不断发展，出现了基于特征的匹配技术。这种技术的优点在于能处理图像间变形复杂等的情况；缺点却是特征的检测极其困难，且在算法执行过程中存在着稳定性较差的问题。由于有着上述提到的不足，故研究人员在此基础上做了大量改进，进而能够越来越稳定地进行特征提取，特
27、别是在尺度空间甚至可以对两幅位移很大的图像进行稳定且准确地特征检测和匹配。在基于特征的匹配技术中，SIFT特征匹配算法是现在国内外特征匹配研究领域里取得比较成功的一种算法它满足了人们对颜色校正的要求，既保持了原本的优越之处，又处理了其不足的地方。目前该算法在军事、工业和民用方面都得到了不同程度的应用，典型的应用包括了物体识别、影像缝合、3D模型建立和影像追踪等23。32SIFT算法的发展历程1999年DAVIDGLOWE提出了SIFT算法，描述它是一种在尺度空间寻找极值点，提取局部特征（位置、尺度、旋转不变量）的算法24，并于2004年对该算法进行了完善总结6。在此期间KMIKOLAJCZYK
28、和CSCHMID将多种最具有代表性的描述子如SIFT、矩不变量、互相关等10种描述子针对不同场景，对光照变化、图像几何变形和旋转等情况进行了大量实验比较，结果表明，SIFT描述子的性能最好25。而后YKE和RSUKTHANKAR用PCA（PRINCIPALCOMPONENTSANALYSIS，主成分分析）代替SIFT算法中的直方图来描述其描述子部分，它可以使得以PCA为基础的局部描述更鲜明，图像变形更强大，且比标准SIFT的不变性更简洁26；同时在图像检索应用结果中使用这些描述符可以提升匹配速度，但是其匹配精度却不如SIFT算法27。其他科学工作者也针对SIFT算法中存在的缺陷做了不少改进，如
29、MICHAELGRABNER等28于2006年提出的FASTAPPROXIMATEDSIFT算法在获得与SIFT算法同等效果的情况下大大缩短了SIFT的运算速度等等。33SIFT特征匹配算法11针对本章前面提到的SIFT特征匹配算法，下面我们就此算法进行展开，作进一步地扩充介绍，先阐释该算法的概念及特点，然后重点描述该算法是如何实施的以及它在颜色校正中是作为何种角色。331SIFT特征匹配算法的概念及特点SIFT特征匹配算法是一种基于尺度空间和不变量技术的特征检测（对图像缩放、旋转甚至仿射变换等保持不变性）基础上的特征匹配算法29。从理论上说，SIFT是一种相似不变量，通过对其特征点进行特殊处
30、理，可以使得在外界因素发生改变时，SIFT特征点能不受这些变化影响30。下面就简单概述一下该算法的特点SIFT特征提取的是图像的局部特征，在图像发生平移、旋转、尺度缩放、光照变换等情况下仍能提取到稳定的特征信息。SIFT特征匹配能力较强，可以在大量的特征数据库信息中进行快速、准确的特征匹配，进而达到了实时的要求。即使在少数的几个物体中运用SIFT特征匹配算法也可以产生大量的、符合需求的SIFT特征向量。SIFT特征向量能兼容其它形式的特征向量，满足实际生活应用中的需要。332SIFT特征匹配算法构造SIFT特征匹配算法主要分两个阶段来实现第1阶段是SIFT特征点的生成，即从待匹配的图像中提取出
31、稳定的特征点信息生成特征向量；第2阶段是SIFT特征向量的匹配6。（1）SIFT特征向量的生成在生成SIFT特征向量之前，先对要提取特征点的图像进行一系列的初步处理，消除某些潜在的影响。一幅图像的SIFT特征向量生成总共包括4步31。A检测尺度空间极值点由于该算法是在尺度空间中实现的，故首先需利用高斯核对原始图像进行尺度变换，在多尺度下获得图像的尺度空间表示序列，并从这些序列中提取特征点。而为了得到多尺度空间下的稳定特征点，我们提出高斯差分尺度空间（DOGSCALESPACE）这一概念，它是相邻两尺度空间的函数之差，其表示如下,YXLKYXLYXIYXGKYXGYXD31）其中,YXL是二维图
32、像的尺度空间，2222/221,YXEYXG是尺度可变高斯函12数，,YX是空间坐标，是尺度坐标（大小决定图像的平滑程度）。针对上述提到的高斯差分尺度空间，可以构建如图31的图像金字塔，从图像中可以很形象地看出高斯金字塔与DOG金字塔之间的关系，其中DOG金字塔与高斯金字塔每一层对应的尺度因子是一样的。图31高斯金字塔与DOG金字塔如果要在DOG金字塔中寻找尺度空间极值点，则需将DOG尺度空间中间层最底层和最顶层除外的每个像素点分别跟同一层的相邻8个像素点以及它上一层和下一层的9个相邻像素点进行比较，看其是否是最大值或最小值。如图32所示，若标记为叉号的像素点比相邻的26个像素的DOG值都大或
33、都小，则记下该点的位置和对应尺度，将其作为一个局部极值点。13图32DOG尺度空间局部极值检测B精确定位特征点位置上面DOG尺度空间中检测到局部极值点并不是直接可以使用，他们受到一些因素的影响，故必须经过进一步的检验才能精确定位为特征点。为了提取稳定的特征点，我们通过对DOG尺度空间进行曲线拟和来精确确定特征点的位置和尺度，同时去除低对比度的特征点。但是这远远是不够的，我们还需排除不稳定的边缘响应点，以增强特征点匹配的稳定性，提高抗噪声能力。这里我们就消除边缘响应点作简要地介绍。DOG函数的峰值点分别在水平边缘和垂直边缘方向有不同大小的主曲率。该主曲率可以通过式32计算求出YYXYXYXXDD
34、DDH32其中例如XXD表示DOG金字塔中某一尺度的图像在X方向上的两次求导。为了计算方便，我们一般令为最大特征值，为最小特征值，故上述矩阵可以表示如下YYXXDDHTR332XYYYXXDDDHDET34假设R，则可以将式33）和式34进行比较，求其比率RRRRHDETHTR22222135若满足，即1R时，则R12/R达到最小，而其它求得值随着R的变化都比此值大，因此，我们假定若满足RRHDETHTR221，则将该特征点保留；反之遗弃。C确定特征点主方向根据检测到的极值点的位置和尺度，我们可以计算出该极值点的模值和方向，如式36和式37所示221,1,1,1,YXLYXLYXLYXLYXM
35、3614,1,1/1,1,TAN,1YXLYXLYXLYXLYX37其中L所用的尺度为每个特征点各自所在的尺度。为了确定特征点的主方向，我们在以特征点为中心的邻域窗口内，采用梯度直方图的统计方法来统计邻域像素的梯度方向。图33显示了采用梯度直方图为特征点确定主方向的示例。图33由梯度方向直方图确定主梯度方向至此，图像的特征点已检测完毕，每个特征点包含有三个信息，即位置、所处尺度和方向；同时这些特征点也具备平移、缩放和旋转不变性等特性。D生成SIFT特征向量由于已确定特征点的主方向，故以特征点为中心取88的特征点邻域作为采样窗口，如图34左部分所示，其中的中央黑点为当前特征点的位置。然后通过高斯
36、加权后在每44的小块上计算8个方向向量信息并以此作为一个种子点，由此每个特征点可以产生448的128维特征向量，如图34中右部分所示。用此方法获得的特征向量可以增强匹配的稳健性，而且针对外因可以保持不变的特性。图34由特征点邻域梯度信息生成特征向量（2）SIFT特征向量的匹配本论文中采用欧氏距离度量两幅图像间相似性以得到图像间潜在的匹配。首先选取图像1中的某个特征点，然后根据欧氏距离值最小原则在图像2中找到两个特征点，如果在这两15个特征点中，最近的距离除以次近的距离小于某个比例阈值，则认为该特征点与图像1中的特征点是匹配的；同理可在图像1中找到图像2的特征匹配点，通过双向匹配确定最后的特征点
37、匹配点对。34本章小结本章首先介绍了SIFT算法提出的背景，因一般性的颜色校正方法受图像旋转、尺度缩放、光照变化、仿射变换等等方面的限制，而我们需要一种颜色校正方法是不受这些方面的影响，可以提取稳定的特征点实现较强的匹配能力。其次简单概括了SIFT算法的发展历程，了解了SIFT算法由DAVIDGLOWE首先提出，而后不少科技工作者在上述基础上对其进行了改进和发展。本章的重点是对SIFT特征匹配算法进行了具体介绍，先描述了该算法的主要特点，然后叙述了该算法的实现过程，即首先在图像中找到符合条件的特征点生成特征向量第一步构建尺度空间，检测尺度空间极值点，初步确定特征点的位置和尺度；第二步精确定位特
38、征点，删除低对比度的特征点和不稳定的边缘响应点；第三步确定特征点的主方向，利用特征点邻域梯度分布特性为其指定方向参数；第四步根据特征点的信息生成SIFT特征向量，而后将得到的特征点通过双向匹配来确定匹配的特征点对，它为本论文的特征点取值和匹配作了铺垫。164基于特征点匹配的多视点图像颜色校正方法41前言为了处理颜色不一致的问题在第二章我们已简单介绍了几种颜色校正方法，而在本章节将对一种新的颜色校正方法的实现过程作具体地描述，然后通过对实验结果分析来判断该校正方法的性能。42设计思路首先通过尺度不变特征变换（SIFT）算法分别在参考图像和源图像中生成的尺度空间里进行极值检测找到特征点，紧接着对这
39、些特征点进行过滤而后精确定位，并确定特征点的主方向以及生成特征向量，然后对源图像和参考图像中最后确定的特征点利用欧氏距离找寻匹配的特征点对并进行双向匹配，确定符合条件的特征点对，最后利用乘性误差和加性误差对源图像的每个像素值进行颜色校正，并将校正图像转化到RGB颜色空间，如图41所示。图41实验步骤43设计过程431特征点的取值首先我们将多视点相机系统在同一时刻拍摄到的多视点图像中的一个视点图像定义为参考图像，记为PIC_0，而将其它视点图像定义为源图像，选取其中一幅记为PIC_1。再通过尺度不变特征变换算法在构建的尺度空间中对参考图像和源图像进行极值检测，对于从参考图像中提取到的特征点集合记
40、为REFP，同时定义参考图像的平面坐标系为XY坐标系，而从源图像中提取的特征点集合记为INPP，同理定义源图像的平面坐标系为YX坐标系。然后对提取的参考图像和源图像的特征点集合进行筛选，去除低对比度的特征点和不稳定的边17缘相应点，并精确定位余下特征点的位置和主方向。最后分别生成参考图像和源图像各特征点的尺度不变特征变换特征向量1。432特征点的匹配先针对参考图像中的一个特征点,YXPREF，通过在特征点周围NN窗口中比较欧氏距离以确定源图像中最邻近特征点,YXPINP和次邻近特征点,YXPINP。如果欧氏距离满足下列关系则两个特征点,YXPREF和,YXPINP被认为是匹配的222,NINP
41、INPREFREFNINPINPREFREFYXLYXLEYXLYXLE41其中，,BAE表示A和B之间的欧氏距离，表示在特征点周围的窗口大小，,YXLREF和,YXLINP表示特征,YXPREF和,YXPINP的亮度值，并且REF和INP在NN窗口中分别表示对应的亮度平均值。是一个可调参数（0MAX_HOR_DISPLEFT_RIGHT_YI50/FORI0IFLAG1IFORI0IDATANUMIMARK_R1ITARGET_RIMARK_G1ITARGET_GIMARK_B1ITARGET_BIMARK_R2ISOURCE_RIMARK_G2ISOURCE_GIMARK_B2ISOURC
42、E_BI37FORI0IFLAG1IIFLEFT_RIGHT_XI50YT_Y_POSIFORK2K2KINDEXHEIGHTYKWIDTHXMARK_R1INDEXREDMARK_G1INDEXGREENMARK_B1INDEXBLUEFORL2L2LINDEXHEIGHTYWIDTHXLMARK_R1INDEXREDMARK_G1INDEXGREENMARK_B1INDEXBLUESIZET_SIZEIFORKSIZEKSIZEKINDEXHEIGHTYKWIDTHXSIZEMARK_R1INDEXREDMARK_G1INDEXGREENMARK_B1INDEXBLUEFORKSIZEKS
43、IZEKINDEXHEIGHTYKWIDTHXSIZEMARK_R1INDEXREDMARK_G1INDEXGREENMARK_B1INDEXBLUEFORLSIZELSIZELINDEXHEIGHTYSIZEWIDTHXLMARK_R1INDEXREDMARK_G1INDEXGREENMARK_B1INDEXBLUEFORLSIZELSIZELINDEXHEIGHTYSIZEWIDTHXLMARK_R1INDEXREDMARK_G1INDEXGREENMARK_B1INDEXBLUEXT_X_POSILEFT_RIGHT_XIYT_Y_POSILEFT_RIGHT_YIFORK2K2KIND
44、EXHEIGHTYKWIDTHXMARK_R2INDEXREDMARK_G2INDEXGREENMARK_B2INDEXBLUEFORL2L2LINDEXHEIGHTYWIDTHXLMARK_R2INDEXREDMARK_G2INDEXGREENMARK_B2INDEXBLUE38JMAPISIZES_SIZEJFORKSIZEKSIZEKINDEXHEIGHTYKWIDTHXSIZEMARK_R2INDEXREDMARK_G2INDEXGREENMARK_B2INDEXBLUEFORKSIZEKSIZEKINDEXHEIGHTYKWIDTHXSIZEMARK_R2INDEXREDMARK_G
45、2INDEXGREENMARK_B2INDEXBLUEFORLSIZELSIZELINDEXHEIGHTYSIZEWIDTHXLMARK_R2INDEXREDMARK_G2INDEXGREENMARK_B2INDEXBLUEFORLSIZELSIZELINDEXHEIGHTYSIZEWIDTHXLMARK_R2INDEXREDMARK_G2INDEXGREENMARK_B2INDEXBLUESAVECOLORIMAGE“COLORFINAL_MARK_0BMP“,ROW,COL,FHEAD,MARK_R1,MARK_G1,MARK_B1SAVECOLORIMAGE“COLORFINAL_MAR
46、K_1BMP“,ROW,COL,FHEAD,MARK_R2,MARK_G2,MARK_B2FORI0I3IMEAN1IMEAN2I0VAR1IVAR2I0FLAG0FORI0IFLAG1IIFLEFT_RIGHT_XI50XT_X_POSIYT_Y_POSIINDEXHEIGHTYWIDTHXMEAN10TARGET_LINDEXMEAN11TARGET_AINDEXMEAN12TARGET_BINDEXXT_X_POSILEFT_RIGHT_XIYT_Y_POSILEFT_RIGHT_YIINDEXHEIGHTYWIDTHXMEAN20SOURCE_LINDEXMEAN21SOURCE_AI
47、NDEXMEAN22SOURCE_BINDEXFORJ0J3JMEAN1J/FLAGMEAN2J/FLAGFORI0IFLAG1IIFLEFT_RIGHT_XI50XT_X_POSIYT_Y_POSIINDEXHEIGHTYWIDTHXVAR10TARGET_LINDEXMEAN10TARGET_LINDEXMEAN10VAR11TARGET_AINDEXMEAN11TARGET_AINDEXMEAN11VAR12TARGET_BINDEXMEAN12TARGET_BINDEXMEAN12XT_X_POSILEFT_RIGHT_XIYT_Y_POSILEFT_RIGHT_YIINDEXHEIG
48、HTYWIDTHXVAR20SOURCE_LINDEXMEAN20SOURCE_LINDEXMEAN20VAR21SOURCE_AINDEXMEAN21SOURCE_AINDEXMEAN21VAR22SOURCE_BINDEXMEAN22SOURCE_BINDEXMEAN22FORJ0J3JVAR1JSQRTVAR1J/FLAGVAR2JSQRTVAR2J/FLAGFORI0IDATANUMITEMPVAR10/VAR20SOURCE_LIMEAN20MEAN10CORR_LITEMPTEMPVAR11/VAR21SOURCE_AIMEAN21MEAN11CORR_AITEMPTEMPVAR12/VAR22SOURCE_BIMEAN22MEAN12CORR_BITEMPCIELABTORGBCORR_L,CORR_A,CORR_B,CORR_R,CORR_G,CORR_B,DATANUMSAVECOLORIMAGE“COLORCORR_1BMP“,ROW,COL,FHEAD,CORR_R,CORR_G,CORR_B
