1、11毕业设计文献综述电子信息科学与技术基于特征点匹配的多视点图像颜色校正方法研究摘要自由视点视频的出现满足了人们日益提高的生活水平，但是不免会出现一些问题，即图像颜色在不同视点由于场景光照、相机校准、相机噪声等的影响而产生不一致的现象，给后续的处理带来很大的困难。本文基于上述的问题提出了一些颜色校正的方法区域匹配或直方图匹配颜色校正方法；面向编码和绘制的多视点图像颜色校正方法；一种基于多模式融合的多视点图像颜色校正方法；基于主颜色提取的的多视点图像颜色校正方法；基于使用视点网络能量最小化的多视点视频颜色校正方法等等，而下面具体介绍的是基于特征对应的多视点图像颜色与几何校正方法。关键词自由视点视
2、频；颜色校正；区域匹配或直方图匹配；编码和绘制；多模式融合；主颜色提取；视点网络能量最小化；特征对应一、前言随着信息时代的日益拓新，现今存有的2D视频系统越来越不能满足人们的需求。在传统的视频系统中，真实的场景相对于一个视点的画面是由摄像师或导演选择决定的，用户只能被动地观看摄像机在单一视点上所摄制的视频图像序列，而不能自由选择其它视点来观察真实场景，这些单方向上的视频序列只能反映真实世界场景的一个侧面。而人们期望的是能够自由地选择各个不同的角度去观察和分析事物，故应时代要求而产生的自由视点视频1就是一种先进的视觉媒体模式，它是通过多相机系统进行捕获，各视点各自独立地接受来自同一场景的特定摄像
3、点的视频，并通过视点绘制技术来生成任意点的视频，这样就能允许人们从不同视点和方向享受更为真实的3D图像。同时随着3D显示技术的进步，全景显示、立体视频技术得到了广泛的关注，特别是裸眼可视立体显示的出现，自由视点视频的显示已不是遥不可及的梦想。二、多视点图像颜色校正研究基于3D的交互性与图像的真实感，自由视点视频在远程教育、远程监视、虚拟现实系统等方面有着良好的应用前景。但是正所谓没有一样现今世界上的事物是十全十美的，在显示其优越之处的同时不免暴露了不足，不管这不足影响是大是小。自由视点视频在实现过程中遇到的主要问题是视点间图像颜色的不一致。任意视点位置在图像采集过程中由于各相机的基线不在同一水
4、平轴，场景光照、相机CCD噪声、快门速度和曝光等要素不一致，会导致不同相机采集的图像的颜色值差别很大，故必须对多视点图像颜色进行校正，将同一对象的不同颜色外表校正到同一颜色，然后进行分22析和比较，保证分析结果尽可能可靠，也为了后续的多视点图像压缩与任意视点绘制带来方便。本文就是针对上述多视点图像颜色不一致的问题提出了一些颜色校正的方法，尤以基于特征点匹配的多视点图像颜色校正方法重点介绍。21颜色校正算法研究现状1颜色校正或颜色传递并不是一个新的概念，在较早之前就提出了一些图像或图像序列的颜色校正算法。PHAM和PRINGLE通过对相邻图像重叠区域的检测，构造一个高维的多项式映射函数；同样，J
5、ACKOWSHI等利用3个RATIONALHYPERSURFACES作为映射函数来实现校正；GUIYUNTIAN等也对全景图像进行重叠区域检测，在重叠区域间建立直方图映射，实现对全景图像的颜色校正。REINHARD等第一次提出采用均值和均方差的统计信息在图像间进行颜色传递。但是由于全局的信息并不能反映各区域间的颜色变化趋势，因此许多研究者从区域匹配或区域分割的角度提出了一些校正算法MAOJUNZHANG等根据主区域的信息来构造映射函数；CLEMENTFREDEMBACH等利用基于区域的图像分类方法来实现自动颜色校正。22多视点图像颜色校正方法221区域匹配或直方图匹配颜色校正方法2区域匹配或直
6、方图匹配是通常采用的颜色校正手段，区域匹配通过将目标图像和源图像进行聚类分割，在最相似的区域间建立颜色映射关系，并以此映射关系对源图像进行校正；直方图匹配通过计算目标图像和源图像的累计直方图，只要满足源图像和目标图像具有相同的直方图分布，就可以将目标图像的直方图映射到源图像。但如果多视点图像发生旋转、尺度缩放、视角变换、光照变换等变化，或由于遮挡、噪声等因素的影响，区域匹配和直方图匹配就不能保持良好的可匹配性，映射精度低。222面向编码和绘制的多视点图像颜色校正方法3该方法首先采用连续多帧求帧差法提取出各个视点图像的背景区域，再利用背景区域计算校正因子，对颜色不一致的视点进行颜色校正。该算法不
7、仅能实现视点间图像的颜色一致性，提高多视点视频的编码效率，而且提高了虚拟视点绘制性能，是一种有效的多视点视频系统颜色校正方法，但是缺陷是不适合客户端任意视点绘制。223一种基于多模式融合的多视点图像颜色校正方法4该方法通过定义四种通用的线性和非线性校正模式，首先对输入的源图像和参考图像进行视差估计，以视差估计得到的匹配块作为样本，然后对样本分别用四种校正模式进行训练，得到各种模式的校正参数，最后基于最小均方误差准则对各种校正模式进行融合，得到最终的校正图像。而通过研究所得的结果表明该方法可以实现参考图像与校正图像的最小均方根误差，且具有较好的校正33效果。224基于主颜色提取的的多视点图像颜色
8、校正方法5在图像类型设置上颜色信息是非常重要的。该方法是在主颜色提取的颜色校正基础上，提出消除多视点图像之间颜色的不一致。根据基本颜色分类理论，在参考图像和输入图像范畴中提取主颜色，那么相应的颜色映射关系建立。该方法研究所得的结果表明颜色校正是非常有效的，但是它不提供图像内容强大的适应性。225基于使用视点网络能量最小化的多视点视频颜色校正方法610当视点转换或当自由视点视频显示时，视点之间的颜色校正采用IBR的多视点系统，它可以使得观众感到舒适。该颜色校正方法通常包括两个步骤首先是在拍摄前调整相机参数，如增益，亮度，光圈，再是通过图像处理修改拍摄到的视频。它是利用尺度不变特征变换（SIFT）
9、来检测匹配，能够独立处理RGB通道，及计算查找能量最小化的方法表，并用这些表校正拍摄到的视频。226基于特征对应的多视点图像颜色与几何校正方法11141、首先选择同一时刻由多视点相机系统拍摄的多视点图像中的一个视点图像为参考图像，而将其它视点图像选为源图像，通过SIFT在参考图像和源图像中进行极值检测找到所有特征点。针对源图像中的一个关键点PINPX,Y，参考图像中最近的关键点PREFX,Y和次近的关键点PREFX,Y可以在NN的窗口中通过比较欧氏距离来确定。如果最小和次小欧氏距离满足下列关系则两个关键点PINPX,Y和PREFX,Y被认为是匹配的222,NREFREFINPINPNREFRE
10、FINPINPYXYXEYXYXELLLL（1）其中，E（A，B）表示A和B之间的欧氏距离，表示在关键点周围的窗口大小，LINPX,Y和LREFX,Y表示关键点PINPX,Y和PREFX,Y的亮度值，并且INP和REF分别表示在NN个窗口中对应的亮度平均值。是一个可调参数，01，它控制着匹配精度和匹配的关键点数量。在实验中，我们根据经验选择N7和阈值08。2、然后在关键点PINPX,Y到关键点PREFX,Y间建立单向匹配，从源图像到它参考图像的像素（X，Y）差距可以表示为DINPREFXX,YY。对于在参考图像中的关键点PREFX,Y，一个反向匹配计划就是在源图像中找到一个匹配的关键点PINP
11、X,Y。因此，从参考图像到源图像的像素X,Y差距可以表示为DREFINPXX,YY。如果DINPREF和DREFINP之间的像素绝对值少于2，也就是说如果满足|DINPREFDREFINP|2，则PINPX,Y和PREFX,Y被认为是匹配的关键点对。3、最后考虑由于乘性和加性误差引起的在不同视点图像之间的颜色变化，对源图像的颜色校正定义44为EIAIIINPIICORIYXYX,（2）其中IIINP是源图像的第I个颜色值，IICOR是对应的校正图像的第I个颜色值，I代表了R，G和B三组分之一。乘性误差AI和加性误差EI是最大限度地在IIREF和IICOR之间减少的最小平方意义上的残差，表示为,
12、2,MINARG,YXYXCORIREFIYXYXEIAIIIIIEA（3）其中是所有匹配特征点对集合,ARGMIN定义了该函数最小化参数。先利用乘性误差AI和加性误差EI对源图像的每个像素点进行颜色校正，再将校正图像转化到RGB颜色空间。4、最后建立匹配特征点对PINPX,Y和PREFX,Y的仿射变换为BAXBAYXAAAAYXX22211211（4）其中矩阵A是与旋转和缩放相关，B是与变换相关。为了获得公式中未知的六个参数，至少有三个特征点对匹配是被要求的。然后以矩阵A和向量B对校正图像的像素点进行几何标定，可以得到几何标定后图像的像素点。该方法相对于区域匹配或直方图匹配颜色校正方法等特色
13、之处在于利用尺度不变特征变换算法，通过提取对旋转、尺度缩放、视角变换、光照变换等因素保持不变性的尺度不变特征变换特征向量，可实现差异较大的两幅多视点图像之间特征的匹配，大大提高了颜色校正的鲁棒性、映射的精度，提高了对多视点图像进行编码的编码性能，并降低了运动估计和补偿过程中的预测误差，是一种有效的颜色校正方法。三、总结本文介绍了几种颜色校正方法，每种方法都有其特色之处，也有不可忽视的缺陷存在。区域匹配或直方图匹配颜色校正方法虽是最通常采用的，但是它可匹配性能不够好，映射精度低；面向编码和绘制的多视点图像颜色校正方法能够提高多视点视频的编码效率，但是缺陷是不适合客户端任意视点绘制；一种基于多模式
14、融合的多视点图像颜色校正方法需要定义四种通用的线性和非线性校正模式，比较繁琐；基于主颜色提取的的多视点图像颜色校正方法不提供图像内容强大的适应性；基于使用视点网络能量最小化的多视点视频颜色校正方法独立处理RGB通道，并通过一个非线性函数来转换失真的视频，但是需找到能量的局部最小值；相较而言基于特征对应的多视点图像颜色与几何校正方法可实现差异较大的两幅多视点图像之间特征的匹配，大大提高了映射的精度。人们也55在致力于更完善的颜色校正方法以得到更真实、清晰地视频，自由视点视频在不久的将来必定普及于人们的生活之中。参考文献1PMERKLE,ASMOLIC，KMULLER,ANDTWIEGANDIEE
15、ETRANSONCIRCUITSANDSYSTEMSFORVIDEOTECHNOLOGY,172007,14612邵枫自由视点视频信号处理中的关键技术研究浙江浙江大学博士学位论文,2007年4月,881473一种多视点图像的预处理方法说明书,2007年12月3日,244蒋刚毅,费跃,邵枫,彭宗举,郁梅面向编码和绘制的多视点图像颜色校正光子学报第38卷第9期,2009年9月5邵枫,蒋刚毅,郁梅,杨任尔一种基于多模式融合的多视点图像颜色校正方法光电工程第36卷第11期,2009年11月6KENJIYAMAMOTO,RYUTAROOICOLORCORRECTIONFORMULTIVIEWVIDEOU
16、SINGENERGYMINIMIZATIONOFVIEWNETWORKSNATIONALINSTITUTEOFINFORMATIONANDCOMMUNICATIONSTECHNOLOGY,TOKYO,JAPAN,JULY,2008,0532342457KYAMAMOTO,UJAMESCOLORCALIBRATIONFORMULTICAMERASYSTEMWITHOUTCOLORPATTERNBOARD,TECHNICALREPORTMECSE42006,MONASHUNIVERSITYDECSE,20068MPTEHRANI,AISHIKAWA,SSAKAZAWA,AKOIKECOLORCOR
17、RECTIONOFMULTIVIEWCAMERASYSTEMUSINGMATCHEDFEATUREPOINTSINPROCEEDINGSOFFORUMONINFORMATIONTECHNOLOGY,TOYOTA,JAPAN,2007,PP3713729DGLOWEDISTINCTIVEIMAGEFEATURESFROMSCALEINVARIANTKEYPOINTSINTERNATIONALJOURNALOFCOMPUTERVISION,VOL60,NO2,2004,PP9111010KYAMAMOTO,TYENDO,TFUJII,MTANIMOTOCOLORCORRECTIONOFMULTIV
18、IEWVIDEOBYUSINGCORRESPONDENCESINPROCEEDINGSOFTHE4THSYMPOSIUMONINTELLIGENTMEDIAINTEGRATIONFORSOCIALINFORMATION,NAGOYA,JAPAN,2006,PP656611FENGSHAO（邵枫）,GANGYIJIANG（蒋刚毅）,ANDMEIYU（郁梅）DOMINANTCOLOREXTRACTIONBASEDCOLORCORRECTIONFORMULTIVIEWIMAGESVOL5,NO8/CHINESEOPTICSLETTERS,AUGUST10,200712FENGSHAO（邵枫）,GANGYIJIANG（蒋刚毅）,ANDMEIYU（郁梅）COLORCORRECTIONANDGEOMETRICCALIBRATIONFORMULTIVIEWIMAGESWITHFEATURECORRESPONDENCE,JANUARY,200913DGLOWEINTERNATIONALJOURNALOFCOMPUTERVISION,602004,916614YCCHANG,JKREIDIEEETRANSONIMAGEPROCESSING,51996,1414
