1、1毕业设计开题报告电子信息科学与技术基于特征点匹配的多视点图像颜色校正方法研究一、选题的背景与意义随着信息时代的日益拓新，现今存有的2D视频系统越来越不能满足人们的需求。在传统的视频系统中，真实的场景相对于一个视点的画面是由摄像师或导演选择决定的，用户只能被动地观看摄像机在单一视点上所摄制的视频图像序列，而不能自由选择其它视点来观察真实场景，这些单方向上的视频序列只能反映真实世界场景的一个侧面。而人们期望的是能够自由地选择各个不同的角度去观察和分析事物，故应时代要求产生的自由视点视频就是一种先进的视觉媒体模式，它是通过多相机系统进行捕获，各视点各自独立地接受来自同一场景的特定摄像点的视频，并通
2、过视点绘制技术来生成任意点的视频，这样就能允许人们从不同视点和方向享受更为真实的3D图像。同时随着3D显示技术的进步，全景显示、立体视频技术得到了广泛的关注，特别是裸眼可视立体显示的出现，自由视点视频的显示已不是遥不可及的梦想。基于3D的交互性与图像的真实感，自由视点视频在远程教育、远程监视、虚拟现实系统等方面有着良好的应用前景。但是正所谓没有一样现今世界上的事物是十全十美的，在显示其优越之处的同时不免暴露了不足，不管这不足影响是大是小。自由视点视频在实现过程中遇到的主要问题是视点间图像颜色的不一致。任意视点位置在图像采集过程中由于各相机的基线不在同一水平轴，场景光照、相机CCD噪声、快门速度
3、和曝光等要素不一致，会导致不同相机采集的图像的颜色值差别很大，故必须对多视点图像颜色进行校正，将同一对象的不同颜色外表校正到同一颜色，然后进行分析和比较，保证分析结果尽可能可靠，这也为了后续的多视点图像压缩与任意视点绘制带来方便。基于特征点匹配的颜色校正方法相对于其他颜色校正方法的特色之处在于利用尺度不变特征变换算法，通过提取对旋转、尺度缩放、视角变换、光照变换等因素保持不变性的特征点，可实现差异较大的两幅多视点图像之间特征的匹2配，大大提高了颜色校正的鲁棒性、映射的精度，提高了对多视点图像进行编码的编码性能，并降低了运动估计和补偿过程中的预测误差，是一种有效的颜色校正方法。二、研究的基本内容
4、与拟解决的主要问题1、研究的基本内容（1）通过尺度不变特征变换（SIFT）算法分别在参考图像和源图像之间进行极值检测找到特征点；（2）利用所检测到的特征点对源图像和参考图像的特征点进行双向匹配，确定特征点对；（3）使用乘性误差和加性误差对源图像进行颜色校正，并将校正图像转化到RGB颜色空间。2、拟解决的主要问题（1）特征点的取值，即如何使用尺度不变特征变换算法在尺度空间中找到参考图像和源图像的特征点。（2）特征点的匹配，即如何利用所得到的特征点，获取匹配的特征点对。（3）颜色校正，即如何利用实验所得对源图像进行颜色校正。三、研究的方法与技术路线1、首先选择同一时刻由多视点相机系统拍摄的多视点图
5、像中的一个视点图像作为参考图像，而将其它视点图像选为源图像，通过SIFT在参考图像和源图像中进行极值检测找到所有特征点。对于源图像的特征点和在参考图像中离源图像特征点最近的特征点及次近的特征点可以通过欧氏距离进行定义。2、然后先进行从源图像特征点到参考图像特征点的单向匹配，计算两特征点的视差，再从源图像中找到特征点与参考图像中的最近特征点相匹配，并计算两特征点的视差，若上述两个视差相加之和的绝对值小于2，则可以确定源图像特征点和参考图像特征点为匹配的特征点对。3、最后考虑由于乘性和加性误差存在而引起的在不同视点图像之间的颜色变化，我们可以对源图像的颜色用下面的公式进行校正IINPIICORIE
6、YXIAYXI,（1）其中,YXIINPI是源图像第I个颜色值，,YXICORI是校正图像第I个校正颜色值,而3I代表R,G和B三者之一。针对上面的乘性误差IA和加性误差IE可以用公式进行定义,MINARG,YXYXCORIREFIEAIIYXIYXIABSEAII（2）其中是所有匹配特征点对集合，MINARG定义了该函数最小化参数，,YXIREFI是参考图像第I个颜色值。先可以利用上述求得的乘性误差IA和加性误差IE对源图像的每个像素点进行颜色校正，再将校正图像转化到RGB颜色空间，即完成该课题要求的颜色校正。四、研究的总体安排与进度1、2010年11月2010年12月完成本课题相关文献资料
7、的检索2、2010年12月2010年12月对本课题有初步了解，撰写开题报告，准备开题答辩3、2011年1月2011年3月撰写文献综述和翻译英文文献4、2011年3月2011年4月编写C程序实现该课题的颜色校正5、2011年4月2011年5月论文的撰写以及修改，并准备毕业论文答辩五、主要参考文献1PMERKLE,ASMOLIC,KMULLER,ETALIEEETRANSONCIRCUITSANDSYSTEMSFORVIDEOTECHNOLOGY,172007,14612邵枫自由视点视频信号处理中的关键技术研究浙江浙江大学博士学位论文,2007年4月,881473一种多视点图像的预处理方法说明书,
8、2007年,244蒋刚毅,费跃,邵枫等面向编码和绘制的多视点图像颜色校正光子学报第38卷第9期,2009年9月5邵枫,蒋刚毅,郁梅等一种基于多模式融合的多视点图像颜色校正方法光电工程第36卷第11期,2009年11月6YCHANG,SSAITO,ANDMNAKAJIMAIEEETRANSONIMAGEPROCESSING,162007,3297UFECKER,MBARKOWSKY,ANDAKAUPIEEETRANSONCIRCUITSANDSYSTEMSFOR4VIDEOTECHNOLOGY,18912581267,20088FENGSHAO,GANGYIJIANG,MEIYUIEEEINTC
9、ONFONACOUSTICS,SPEECH,ANDSIGNALPROCESSING,HONOLULU,HAWAII,969972,APR20079FENGSHAO,GANGYIJIANG,ANDMEIYUDOMINANTCOLOREXTRACTIONBASEDCOLORCORRECTIONFORMULTIVIEWIMAGESCHINESEOPTICSLETTERS,VOL5,NO8,AUGUST10,200710YINGWANG,GUANGJUNZHANG,JIANLINWANGJOURNALOFOPTOELECTRONICSLASER,192008,75411FENGSHAO,GANGYIJ
10、IANG,ANDMEIYUCOLORCORRECTIONANDGEOMETRICCALIBRATIONFORMULTIVIEWIMAGESWITHFEATURECORRESPONDENCE,JANUARY,200912DGLOWEINTERNATIONALJOURNALOFCOMPUTERVISION,602004,9113YCCHANG,JKREIDIEEETRANSONIMAGEPROCESSING,51996,14145毕业设计文献综述电子信息科学与技术基于特征点匹配的多视点图像颜色校正方法研究摘要自由视点视频的出现满足了人们日益提高的生活水平，但是不免会出现一些问题，即图像颜色在不同视
11、点由于场景光照、相机校准、相机噪声等的影响而产生不一致的现象，给后续的处理带来很大的困难。本文基于上述的问题提出了一些颜色校正的方法区域匹配或直方图匹配颜色校正方法；面向编码和绘制的多视点图像颜色校正方法；一种基于多模式融合的多视点图像颜色校正方法；基于主颜色提取的的多视点图像颜色校正方法；基于使用视点网络能量最小化的多视点视频颜色校正方法等等，而下面具体介绍的是基于特征对应的多视点图像颜色与几何校正方法。关键词自由视点视频；颜色校正；区域匹配或直方图匹配；编码和绘制；多模式融合；主颜色提取；视点网络能量最小化；特征对应一、前言随着信息时代的日益拓新，现今存有的2D视频系统越来越不能满足人们的
12、需求。在传统的视频系统中，真实的场景相对于一个视点的画面是由摄像师或导演选择决定的，用户只能被动地观看摄像机在单一视点上所摄制的视频图像序列，而不能自由选择其它视点来观察真实场景，这些单方向上的视频序列只能反映真实世界场景的一个侧面。而人们期望的是能够自由地选择各个不同的角度去观察和分析事物，故应时代要求而产生的自由视点视频1就是一种先进的视觉媒体模式，它是通过多相机系统进行捕获，各视点各自独立地接受来自同一场景的特定摄像点的视频，并通过视点绘制技术来生成任意点的视频，这样就能允许人们从不同视点和方向享受更为真实的3D图像。同时随着3D显示技术的进步，全景显示、立体视频技术得到了广泛的关注，特
13、别是裸眼可视立体显示的出现，自由视点视频的显示已不是遥不可及的梦想。二、多视点图像颜色校正研究基于3D的交互性与图像的真实感，自由视点视频在远程教育、远程监视、虚拟现实系统等方面有着良好的应用前景。但是正所谓没有一样现今世界上的事物是十全十美的，在显示其优越之处的同时不免暴露了不足，不管这不足影响是大是小。自由视点视频在实现过程6中遇到的主要问题是视点间图像颜色的不一致。任意视点位置在图像采集过程中由于各相机的基线不在同一水平轴，场景光照、相机CCD噪声、快门速度和曝光等要素不一致，会导致不同相机采集的图像的颜色值差别很大，故必须对多视点图像颜色进行校正，将同一对象的不同颜色外表校正到同一颜色
14、，然后进行分析和比较，保证分析结果尽可能可靠，也为了后续的多视点图像压缩与任意视点绘制带来方便。本文就是针对上述多视点图像颜色不一致的问题提出了一些颜色校正的方法，尤以基于特征点匹配的多视点图像颜色校正方法重点介绍。21颜色校正算法研究现状1颜色校正或颜色传递并不是一个新的概念，在较早之前就提出了一些图像或图像序列的颜色校正算法。PHAM和PRINGLE通过对相邻图像重叠区域的检测，构造一个高维的多项式映射函数；同样，JACKOWSHI等利用3个RATIONALHYPERSURFACES作为映射函数来实现校正；GUIYUNTIAN等也对全景图像进行重叠区域检测，在重叠区域间建立直方图映射，实现
15、对全景图像的颜色校正。REINHARD等第一次提出采用均值和均方差的统计信息在图像间进行颜色传递。但是由于全局的信息并不能反映各区域间的颜色变化趋势，因此许多研究者从区域匹配或区域分割的角度提出了一些校正算法MAOJUNZHANG等根据主区域的信息来构造映射函数；CLEMENTFREDEMBACH等利用基于区域的图像分类方法来实现自动颜色校正。22多视点图像颜色校正方法221区域匹配或直方图匹配颜色校正方法2区域匹配或直方图匹配是通常采用的颜色校正手段，区域匹配通过将目标图像和源图像进行聚类分割，在最相似的区域间建立颜色映射关系，并以此映射关系对源图像进行校正；直方图匹配通过计算目标图像和源图
16、像的累计直方图，只要满足源图像和目标图像具有相同的直方图分布，就可以将目标图像的直方图映射到源图像。但如果多视点图像发生旋转、尺度缩放、视角变换、光照变换等变化，或由于遮挡、噪声等因素的影响，区域匹配和直方图匹配就不能保持良好的可匹配性，映射精度低。222面向编码和绘制的多视点图像颜色校正方法3该方法首先采用连续多帧求帧差法提取出各个视点图像的背景区域，再利用背景区域计算校正因子，对颜色不一致的视点进行颜色校正。该算法不仅能实现视点间图像的颜色一致性，提高多视点视频的编码效率，而且提高了虚拟视点绘制性能，是一种有效的多视点视频系统颜色校正方法，但是缺陷是不适合客户端任意视点绘制。7223一种基
17、于多模式融合的多视点图像颜色校正方法4该方法通过定义四种通用的线性和非线性校正模式，首先对输入的源图像和参考图像进行视差估计，以视差估计得到的匹配块作为样本，然后对样本分别用四种校正模式进行训练，得到各种模式的校正参数，最后基于最小均方误差准则对各种校正模式进行融合，得到最终的校正图像。而通过研究所得的结果表明该方法可以实现参考图像与校正图像的最小均方根误差，且具有较好的校正效果。224基于主颜色提取的的多视点图像颜色校正方法5在图像类型设置上颜色信息是非常重要的。该方法是在主颜色提取的颜色校正基础上，提出消除多视点图像之间颜色的不一致。根据基本颜色分类理论，在参考图像和输入图像范畴中提取主颜
18、色，那么相应的颜色映射关系建立。该方法研究所得的结果表明颜色校正是非常有效的，但是它不提供图像内容强大的适应性。225基于使用视点网络能量最小化的多视点视频颜色校正方法610当视点转换或当自由视点视频显示时，视点之间的颜色校正采用IBR的多视点系统，它可以使得观众感到舒适。该颜色校正方法通常包括两个步骤首先是在拍摄前调整相机参数，如增益，亮度，光圈，再是通过图像处理修改拍摄到的视频。它是利用尺度不变特征变换（SIFT）来检测匹配，能够独立处理RGB通道，及计算查找能量最小化的方法表，并用这些表校正拍摄到的视频。226基于特征对应的多视点图像颜色与几何校正方法11141、首先选择同一时刻由多视点
19、相机系统拍摄的多视点图像中的一个视点图像为参考图像，而将其它视点图像选为源图像，通过SIFT在参考图像和源图像中进行极值检测找到所有特征点。针对源图像中的一个关键点PINPX,Y，参考图像中最近的关键点PREFX,Y和次近的关键点PREFX,Y可以在NN的窗口中通过比较欧氏距离来确定。如果最小和次小欧氏距离满足下列关系则两个关键点PINPX,Y和PREFX,Y被认为是匹配的222,NREFREFINPINPNREFREFINPINPYXYXEYXYXELLLL（1）其中，E（A，B）表示A和B之间的欧氏距离，表示在关键点周围的窗口大小，LINPX,Y和LREFX,Y表示关键点PINPX,Y和P
20、REFX,Y的亮度值，并且INP和REF分别表示在NN个窗口中对应的亮度平均值。是一个可调参数，0MAX_HOR_DISPLEFT_RIGHT_YI50/FORI0IFLAG1IFORI0IDATANUMIMARK_R1ITARGET_RIMARK_G1ITARGET_GIMARK_B1ITARGET_BIMARK_R2ISOURCE_RIMARK_G2ISOURCE_GIMARK_B2ISOURCE_BI50FORI0IFLAG1IIFLEFT_RIGHT_XI50YT_Y_POSIFORK2K2KINDEXHEIGHTYKWIDTHXMARK_R1INDEXREDMARK_G1INDEXG
21、REENMARK_B1INDEXBLUEFORL2L2LINDEXHEIGHTYWIDTHXLMARK_R1INDEXREDMARK_G1INDEXGREENMARK_B1INDEXBLUESIZET_SIZEIFORKSIZEKSIZEKINDEXHEIGHTYKWIDTHXSIZEMARK_R1INDEXREDMARK_G1INDEXGREENMARK_B1INDEXBLUEFORKSIZEKSIZEKINDEXHEIGHTYKWIDTHXSIZEMARK_R1INDEXREDMARK_G1INDEXGREENMARK_B1INDEXBLUEFORLSIZELSIZELINDEXHEIGH
22、TYSIZEWIDTHXLMARK_R1INDEXREDMARK_G1INDEXGREENMARK_B1INDEXBLUEFORLSIZELSIZELINDEXHEIGHTYSIZEWIDTHXLMARK_R1INDEXREDMARK_G1INDEXGREENMARK_B1INDEXBLUEXT_X_POSILEFT_RIGHT_XIYT_Y_POSILEFT_RIGHT_YIFORK2K2KINDEXHEIGHTYKWIDTHXMARK_R2INDEXREDMARK_G2INDEXGREENMARK_B2INDEXBLUEFORL2L2LINDEXHEIGHTYWIDTHXLMARK_R2I
23、NDEXREDMARK_G2INDEXGREENMARK_B2INDEXBLUE51JMAPISIZES_SIZEJFORKSIZEKSIZEKINDEXHEIGHTYKWIDTHXSIZEMARK_R2INDEXREDMARK_G2INDEXGREENMARK_B2INDEXBLUEFORKSIZEKSIZEKINDEXHEIGHTYKWIDTHXSIZEMARK_R2INDEXREDMARK_G2INDEXGREENMARK_B2INDEXBLUEFORLSIZELSIZELINDEXHEIGHTYSIZEWIDTHXLMARK_R2INDEXREDMARK_G2INDEXGREENMAR
24、K_B2INDEXBLUEFORLSIZELSIZELINDEXHEIGHTYSIZEWIDTHXLMARK_R2INDEXREDMARK_G2INDEXGREENMARK_B2INDEXBLUESAVECOLORIMAGE“COLORFINAL_MARK_0BMP“,ROW,COL,FHEAD,MARK_R1,MARK_G1,MARK_B1SAVECOLORIMAGE“COLORFINAL_MARK_1BMP“,ROW,COL,FHEAD,MARK_R2,MARK_G2,MARK_B2FORI0I3IMEAN1IMEAN2I0VAR1IVAR2I0FLAG0FORI0IFLAG1IIFLEF
25、T_RIGHT_XI50XT_X_POSIYT_Y_POSIINDEXHEIGHTYWIDTHXMEAN10TARGET_LINDEXMEAN11TARGET_AINDEXMEAN12TARGET_BINDEXXT_X_POSILEFT_RIGHT_XIYT_Y_POSILEFT_RIGHT_YIINDEXHEIGHTYWIDTHXMEAN20SOURCE_LINDEXMEAN21SOURCE_AINDEXMEAN22SOURCE_BINDEXFORJ0J3JMEAN1J/FLAGMEAN2J/FLAGFORI0IFLAG1IIFLEFT_RIGHT_XI50XT_X_POSIYT_Y_POS
26、IINDEXHEIGHTYWIDTHXVAR10TARGET_LINDEXMEAN10TARGET_LINDEXMEAN10VAR11TARGET_AINDEXMEAN11TARGET_AINDEXMEAN11VAR12TARGET_BINDEXMEAN12TARGET_BINDEXMEAN12XT_X_POSILEFT_RIGHT_XIYT_Y_POSILEFT_RIGHT_YIINDEXHEIGHTYWIDTHXVAR20SOURCE_LINDEXMEAN20SOURCE_LINDEXMEAN20VAR21SOURCE_AINDEXMEAN21SOURCE_AINDEXMEAN21VAR2
27、2SOURCE_BINDEXMEAN22SOURCE_BINDEXMEAN22FORJ0J3JVAR1JSQRTVAR1J/FLAGVAR2JSQRTVAR2J/FLAGFORI0IDATANUMITEMPVAR10/VAR20SOURCE_LIMEAN20MEAN10CORR_LITEMPTEMPVAR11/VAR21SOURCE_AIMEAN21MEAN11CORR_AITEMPTEMPVAR12/VAR22SOURCE_BIMEAN22MEAN12CORR_BITEMPCIELABTORGBCORR_L,CORR_A,CORR_B,CORR_R,CORR_G,CORR_B,DATANUMSAVECOLORIMAGE“COLORCORR_1BMP“,ROW,COL,FHEAD,CORR_R,CORR_G,CORR_B
