1、本科毕业设计（20届）基于颜色变化曲线的多视点视频颜色校正所在学院专业班级电子信息科学与技术学生姓名学号指导教师职称完成日期年月2摘要【摘要】本文针对多视点视频序列视点间存在的颜色不一致问题，提出了实现基于颜色变化曲线的视点视频颜色校正算法。深入分析视点图像间存在的颜色差异，通过固定比率控制点的方法标注关键帧同时利用REINHARD提出的校正方法实现关键帧的校正，借助于关键帧的统计信息建立以线性内插、抛物线内插和三次样条函数为基础的颜色变化曲线，实现最终的校正效果。基于实验所得的结果，利用主客观评价方法对校正的结果进行评价，实验结果表明，本文实现的颜色校正算法计算复杂度较低，并且在保持图像视觉
2、效果的同时，能较好的消除参考图像和源图像之间的颜色差异，并且能够提高视频的编码性能，证明是一种有效的视频图像颜色校正算法。同时介绍了颜色校正技术的最新研究进展状况和本论文存在的不足之处，对颜色校正的研究发展具有一定的意义。【关键字】多视点视频编码颜色校正去相关颜色空间线性内插抛物线内插三次样条函数内插峰值信噪比（PSNR）。3ABSTRACT【ABSTRACT】INORDERTOSOLVENONCONSISTENCECOLORAPPEARANCEBETWEENDIFFERENTVIEWPOINTIMAGES,WEPUTFORWARDAVIEWVIDEOCOLORCORRECTIONALGORI
3、THMBASEDONTHECURVEOFCOLORVIEWTHECOLORDEPTHANALYSISOFTHEEXISTINGDIFFERENCESBETWEENTHEIMAGES,MAKINGKEYFRAMEBYAFIXEDPERCENTAGECONTROLPOINTSANDTHENACHIEVINGTHEKEYFRAMESCORRECTIONUSINGTHEMETHODPROPOSEDBYREINHARDINORDERTOREDUCETHECOLORERROR,WECANCOMBINEWITHTHEKEYFRAMESTATISTICSTOESTABLISHTHECOLORCURVESBET
4、WEENTHEORIGINIMAGEANDTHEREFERENCEIMAGEBASEDONTHELINEARINTERPOLATION,THEPARABOLICINTERPOLATIONANDTHECUBICSPLINEINTERPOLATIONBASEDONTHEEXPERIMENTALRESULTS,WECANUSETHESUBJECTIVEANDTHEOBJECTIVEEVALUATIONMETHODTOEVALUATETHECALIBRATIONRESULTSWESHOWSOMEEXPERIMENTRESULTSTODEMONSTRATETHEEFFICIENCYOFOURMETHOD
5、EXPERIMENTALRESULTSSHOWTHATTHECOLORCORRECTIONALGORITHMTOACHIEVELOWCOMPUTATIONALCOMPLEXITYTHESCHEMAPROPOSEDINOURMETHODHASEXPLOITTHEREDUNDANCYBETWEENCOLORCOMPONENTSINDIFFERENTSEQUENCESOFMULTIVIEWATTHESAMETIME,THECORRECTIONCANIMPROVETHEVIDEOCODINGITPROVEDTOBEANAFFECTIONVIDEOIMAGECOLORCORRECTIONALGORITH
6、MINTHISTHESIS,WEALSOINTRODUCETHELASTESTRESEARCHPROGRESSOFTHETECHNOLOGYANDTHEINADEQUACYOFEXISTINGPAPERSTHESESTUDIESARESIGNIFICANTOFTHEDEVELOPMENTOFTHECOLORCORRECTION【KEYWORD】MULTIVIEWVIDEOCODINGMVCCOLORCORRECTIONDECORRELATEDCOLORSPACELINEARINTERPOLATIONPARABOLICINTERPOLATIONCUBICSPLINEINTERPOLATIONPE
7、AKSIGNALTONOISERATIOPSNR4目录ABSTRACT31绪论511选题背景512国内外的研究现状6121国外研究现状6122国内研究现状713研究动机与目的814论文的结构安排82单张图像的颜色校正93颜色变化曲线基本理论1031线性插值1032抛物线内插1033三次样条函数插值10331三转角方程11332THOMAS算法原理12333三弯矩方程144基于颜色变化曲线的视频颜色校正研究1541算法原理1542本文算法流程设计16421预处理步骤16422关键帧颜色校正19423计算转换曲线参数功能函数19424后续处理步骤2043实验结果与分析2044颜色校正的客观评价25
8、5结论与展望2851本文的优势与不足之处2852进一步研究的方向29参考文献30致谢错误未定义书签。附录3351绪论图像间颜色校正是近几年来计算机图形学和计算机视觉领域内的研究热点之一。视频是由一系列单张图像所组成，每一张都具有不同的颜色特征，基于人类先天的视觉暂留从而实现了在固定频率下的图片显示，据此形成了我们感知的动画，因此视频图像间的颜色校正是以单张图像校正为基础的。同时，相比传统的单通道视频，多视点视频是由处于不同位置的相机阵列拍摄同一场景时得到的一组视频序列信号，在立体电视、自由视点视频和高性能图像等方面有广泛的应用。基于多视点视频本身存在的不足之处，结合多视点视频的自身特点从而提高
9、编码性能，是国内外很多学者一直努力的方向。因此本文以此出发，提出了一种基于颜色变化曲线的多视点视频颜色校正方法。本章首先介绍了本论文的研究背景，然后介绍了国内外学者对颜色校正的研究进展，再阐述了本论文的研究动机与目的，最后再给出了论文的结构安排。11选题背景随着INTERNET和多媒体技术的发展，人们对于数字视频的需求远远超出了传统意义上的二维视频,传统视频图像已无法满足人们的需求。HDTV（高清晰度电视）技术虽然可以通过提高分辨率来提高视频图像的质量，但没有从实质上改变场景的描述形式。在这种形式下，JVT/MPEG（JOINTVIDEOTEAM/MOTIONPICTUREEXPERTGROU
10、P）联合专家组于2005年7月公开征集以H264/AVC（ADVANCEDVIDEOCODING）标准为基础的多视点视频编解码系统议案,多视点视频（MULTIVIEWVIDEO）是一个近几年来迅速崛起并快速发展的研究新领域，可广泛应用于任意视点视频、三维电视、交融式会议电视、远程医疗诊疗、虚拟现实以及视频监视系统等多种正在兴起的多媒体业务。多视点视频是通过在场景的不同角度放置多台摄像机，从而获取整个场景的多个视点的视频信号，可以使用户欣赏到的图像有强烈的深度感、逼真感。多视点视频相比传统的视频来说，由于多视点视频包含了一个场景的多个角度的信息，直接代价就是带来视频数据的急剧增加，并且随着角度数
11、量的不断增多，数据量也成线性增长，为了进一步的存储和传输，因此必须提高多视点视频的压缩效率。除了在传统的编码算法基础上做进一步的改进外，还必须结合多视点视频的自身特点，从而有效消除视点间存在的冗余1。图11所示为多视点视频系统框图。6图11多视点视频系统多视点视频在实现过程中遇到的一个重要问题就是视点间颜色不一致的问题234。光源、图像采集设备与被拍摄的物体是图像形成的三要素，在图像采集的过程中，由于场景光照或相机校准的不一致，是影响视点间颜色不一致的主要原因。视点间的这种差异使得视点间的相关性减弱，当利用视点间进行预测时不能够有效的去除视点间的冗余，进一步影响视频编码的效率，因此必须对多视点
12、图像进行校正，将同一对象不同角度的颜色值校正到同一颜色，然后进行比较和分析，并且对于多视点图像的质量评价，由于现在还没有一个统一的客观评价标准，因此至今尚未提出一种有效的多视点图像校正方法。12国内外的研究现状目前已经开发出了多种对多视点视频进行颜色校正的技术，这一研究领域已引起了国内外很多学者的关注。下面就具体阐述一下国内外研究的现状121国外研究现状国外学者对颜色校正的研究几乎与多视点视频编码的研究同步，从20世纪90年代就开7始展开，从2001年MPEG组织提出3DAV的需求和应用前景后，到2005年多视点视频编码正式标准化，在这一期间多视点视频成为研究的一个热点。学术界围绕多视点视频也
13、举办过多次研讨会，例如IEEETRANSACTIONSONCIRCUITSANDSYSTEMSFORVIDEOTECHNOLOGY的MVC专辑就详细介绍了多视点视频编码中视点图像插值和颜色校正等问题。到目前为止也已产生了很多具有代表性的研究方法，包括FECKER5等人提出的基于直方图匹配的颜色校正算法，其属于预处理校正的范畴，整个算法基于RGB颜色空间，首先要将YUV颜色空间变换到RGB颜色空间，以中间的视点作为参考视点，从而调整其他视点的RGB三基色的直方图使之与中间视点的直方图匹配，得到了很好的校正结果；除此之外，预处理校正的研究还有DOUTRE6等人提出的基于YUV颜色空间和匹配块的颜色
14、校正方法，采用块搜索方法得到不同视点的匹配块，并以这些匹配块的平均值作为参考值，利用三阶多项式结合最小二乘法，使每个视点的YUV值都逼近参考值，从而完成对影像的全局校正。在编码过程中实现的颜色校正同样对我们现在的研究具有重要的意义，HUR等人7基于匹配块的原理，进一步考虑了亮度变化对搜索匹配块的影响，在DOUTRE的基础上提出了另一种新的块匹配准则，并将额外的亮度插值传输给解码端，从而完成了图像的局部颜色校正，这是在编码过程中实现校正的典型代表；YAMAMOTO等人8提出的颜色校正算法主要基于对应色度表的应用，实现在编码过程中对视点的各个色度值进行校正然后再传输给对应色度表，从而完成了图像的全
15、局校正。除此之外，还有很多研究者对颜色校正这一研究领域作出了巨大的贡献，包括CHEN9等人提出的基于颜色空间缩放和偏移参数的颜色校正方法等等。122国内研究现状国内学术界对多视点视频的研究开始于90年代后期，对图像颜色校正的研究也比较深入，其中宁波大学蒋刚毅教授领导的团队在这方面的研究一直处于领先地位，提出了多种颜色校正的方法1011，包括面向编码和绘制的多视点视频颜色校正算法12，其首先采用连续多帧求帧差法提取出各个视点图像的背景区域，接着计算校正因子，从而实现对颜色不一致的视点进行颜色校正。还有其提出的基于归正参数调节的多视点图像归正算法131415，利用像素均值和直方图均值的统计信息对图
16、像的动态范围进行分割以实现映射29，从而求取归正参数来实现校正,基于视差矢量信息的多视点视频颜色校正方法16等等。除此之外，还有以徐晓昭17为代表提出的颜色校正方法，其分别基于三种不同的原理对图像进行了处理，这三种不同的方法分别采用基于映射、基于光谱反射率和基于图像分析，详细介绍了其实现的过程和8改进机制，对后续颜色校正的发展奠定了一定的基础。13研究动机与目的本文主要通过对给定视频的颜色信息进行深入的分析研究，提出了基于颜色变化曲线的视频颜色校正。其创新点主要在于如何构造源图像和参考图像之间的颜色变化曲线以及如何将其应用到颜色校正领域中去，同时借助于一定的主客观评价方法对本文提出的校正算法进
17、行一定的评价。14论文的结构安排本论文的结构安排如下（一）详细介绍了传统的颜色校正方法，主要以REINHARD18提出的单张影像校正方法为主。（二）内容涉及的是颜色变化曲线的基本理论知识，包括线性插值、抛物线插值和三次样条函数插值。本章内容是后面章节的理论基础。（三）这部分为本文的中心部分，在第二部分的基础上，主要涉及了本文算法的具体实现过程，包括算法的概述、设计流程以及最终得到的实验结果以及评价。（四）对本文进行总结，并提出进一步研究的方向。92单张图像的颜色校正REINHARD19于2001年提出了单张图像的颜色校正算法，以平均值和标准差为基础完成了将一张图像的色调转移成另一张图像的色调。
18、首先将原始图像和参考图像由RGB颜色空间转换为L颜色空间，接着计算原始图像和参考图像每一个像素在L各个频道上的平均值和标准差，然后将原始图像每一个像素的L值分别减去L通道上的平均值，乘上参考图像与原始图像的标准差比值，再各自加上参考图像L频道的平均值，最后得到的图像即为在L颜色空间的校正图像，最后将处理后的图像由L颜色空间转换到RGB空间中去，具体实现步骤如下式（21）所示。FERENCESOURCESOURCESOURCEFERENCEFERENCESOURCESOURCESOURCEFERENCELFERENCELSOURCESOURCELSOURCELFERENCEUUUUAUULLRE
19、RERERERERE（21）据一些参考文献所得，上述REINHARD提出的校正算法对于单一的图像校正具有较好的效果，其具有简洁性、快速性等优点，但是其存在的最大不足之处在于需要寻得适合的目标影像序列，才能对源图像和参考图像做1对1的色彩转变。103颜色变化曲线基本理论据一些参考文献所得，转换方式可以有不同的形式，本文采用三种转换方式线性内插、抛物线内插和三次样条函数内插（简称SPLINE插值）27。31线性插值线性插值通式为BAXY，其原理为已知二个点的坐标,11YX和,22YX，从而计算通过这二点的斜线。参数值为1212XXYYA；122112XXYXYXB线性内插法就是利用相似三角形的原理
20、来计算内插点的数据，其广泛应用于数学、计算机图形学等领域中。32抛物线内插抛物线通式为CBXAXY2，利用相邻三个关键帧的坐标,332211YXYXYX,联立方程式即可得到通式中的未知数323121213121312131323121132312122213123212132312121313121XXXXXXXXYYXXXXYYXXXXXXXXYCXXXXXXXXYYXXYYBXXXXXXXXYYXXYYA（31）33三次样条函数插值1946年，SCHOENBERG将样条引入了数学从而产生了样条函数，样条函数的发展是基于BEZIER曲线发展而来的。早在20世纪40年代人们就发现了多项式样条曲
21、线，直到60年代末，由于CAD技术的发展和计算机图形学的兴起，样条函数得到了深入的研究和广泛的应用。利用样条函数拟合的性质，可以减少采样点的数目，从而减少计算的复杂度，使得颜色校正的预处理步骤更加节省时间20。11样条函数的定义如下30NIKIITBPTP0,（32）其中点集NPPP10、称为PT的控制顶点，,TBKI为基函数，基函数的定义如下其他0111,1,11,1,IIIKIIKIKIKIIKIIKITTTTBTBTTTTTBTTTTTB（33）分段低次插值具有收敛性和稳定性的优点，通常三次样条函数（SPLINE）函数即可满足要求，因此在本文中，选取K为4的三次样条函数，采用三次样条函数
22、不仅可以克服高次插值所带来的龙格现象，还可以避免分段插值的不足之处，其节点处不仅光滑且导数值也易取得。函数,X2BACS,且在每个小区间,1JJXX上是三次多项式，其中BXXXAN10是给定的节点，则称XS是节点NXXX,10上的三次样条函数。若在节点JX上给定函数值,2,1,0NJXFYJJ且2,1,0NJYXSJJ成立，则称XS为三次样条插值函数。为求得满足条件2,1,0NJYXSJJ的三次样条函数XS的表达式，可以有二种方法三转角方程和三弯矩方程，二者的区别在于所得到的XS表达方法不同，三转角方程利用一阶倒数值JM，而三弯矩方程则利用二阶倒数值JM，下面分别对这二种方法进行介绍。331三
23、转角方程假设三次样条函数XS的一阶倒数值XS在节点JX处的值为1,0NJMXSJ,通过分段三次埃尔米特插值方式得NJJJJJXMXAYXS0（34）其中XJ,XJ为插值基函数。为确定1,0NJMJ,可利用1212,100“NJXSXSJJ及某一边界条件确定,得到12,1211NJGMUMMJJJJJJ（35）其中,3,11111JJJJJJJJJJJJJJJXXFUXXFGHHHUHHH依此我们可以构造如下矩阵方程（36）此矩阵方程是关于未知数NNMMMMM,1210的N1个方程，因此若需求得方程解，还需再加二个条件。若在二端点处各加一个边界条件，则方程变为只含121,NMMM的N1的方程，根
24、据不同的边界条件，可构造不同的矩阵方程。所得的这些矩阵其对角元素都为2，非对角元素1JJU，因此该矩阵具有明显的强对角优势，方程组有唯一解，并且可以借助于追赶法（THOMAS算法）求得。332THOMAS算法原理有一类方程组,在今后要学习的插值问题和边值问题中有着重要的作用,即三对角线方程组,其形式为（37）其中A称为三对角线矩阵，并且满足FAXNNNNNBACBACBACBA11122211NXXXX21NFFFF21NNNNNNNNNMUGGGGMGMMMMMUUU112320111232112232212000020000002000020000213为求得方程解，我们首先需要对矩阵A进
25、行DOOLITTLE分解。LUA38其中L为单位下三角阵，U为上三角阵，其表达式如下。（39）L和U元素的计算公式如下NICLBUUALBUIIIIIII,21111（310）将系数矩阵A分解为两对角阵LU的乘积后，解三对角线方程组FAX可化为求解两个三角形方程组。YUXFLY（311）其中312可得NILYAFYLFYIIIII3,211110|111CB1,20,|2NICACABIIIII0|3NNABNNNUCUCUCUU112211111132NLLLL5432113221,FFFFFLALALALFLNNN14在求得上述结果的前提下，可以得到313314333三弯矩方程三弯矩方程与
26、三转角方程的区别在于二者所构造的矩阵方程中包含的未知数不一致，三弯矩方程的未知数为二阶倒数值JM，而三转角方程的未知数为一阶倒数值JM构造三弯矩方程的步骤如下（1）XS的二阶导数值“XS的表达式为JJJJJJHXXMHXXMXS11“315（2）对“XS进行积分可得其一阶导数值XS,同时利用00JJXSXS表达式可得与三转角函数对应的表达式12,1211NJDMMMUJJJJJJ316其中参数,6,6,11111111JJJJJJJJJJJJJJJJJJXXXFHHXXFXXFDHHHUHHH与三转角函数一样，只要加上任一种边界条件即可得到三弯矩JM的方程组，接下来运用THOMAS算法求出三弯
27、矩方程的解JM,代入方程组即可得到三次样条函数。NNLYYYYXXXXLLN32132121111111,2,11NIXQYXYXIIIINN154基于颜色变化曲线的视频颜色校正研究41算法原理基于颜色变化曲线与颜色校正的概念，图41给出了整个算法的流程图。算法首先通过自定义控制点的方法标注源影像序列和参考影像序列的关键帧，计算各关键帧在L频道、频道和频道的平均值和标准差，同时调用REINHARD校正函数完成对关键帧的校正28。接着根据各参考关键帧的平均值和标准差构造曲线拟合函数，根据不同的内插方法可以构造线性内插函数、抛物线内插函数和三次样条内插函数，从而得到中间视点的统计信息，完成中间视点
28、的校正。最后再利用客观评价指标对校正结果进行评价。图41算法流程图1642本文算法流程设计算法输入为两组影像序列，第一组为源影像序列，第二组为参考影像序列，算法输出为经过转换的影像序列。整个算法可以分为三步影像序列的预处理步骤、影像序列颜色转换步骤以及后续处理步骤。421预处理步骤颜色空间21即表示彩色图像亮度与色度的方法。根据三基色原理及人眼视觉系统的特性可以将彩色图像用不同的颜色空间进行表示。图像处理中最基本、最常用的颜色空间即为RGB颜色空间，因为现有的图像采集设备最初采集到的的图像颜色信息是RGB值，颜色显示设备最终显示的图像也是RGB值，图像处理中使用的其他所有的颜色空间也都是从RG
29、B空间中转换而来的，其处理结果如果也要显示出来，最终也需转换回RGB颜色空间。RGB模型如图42所示。图42RGB模型在RGB彩色模型中，所表示的图形由三个图像分量组成，每一个分量图像都是其原色图像，当送入RGB监视器时，这三幅图像在荧光屏上混合产生一副合成的彩色图像，其中每一幅红、绿、蓝图像都是一幅8比特图像，合成的彩色图像为24比特。在24比特RGB图像中颜色总数为16777216238。图43所示为由RGB三值所组合而成的分量合成图与原图的比较。17图43RGB合成图与原图的比较彩色图像中的各分量值可以用灰度图形22来表示，其颜色较浅表示分量值越大，越深则表示分量值越小。显示结果如图44
30、所示。图44RGB各分量值图虽然RGB颜色空间为最基础的颜色空间，但同时RGB颜色空间也存在很多不足之处，从RGB值中很难知道该值所表示的颜色信息的认知属性，且RGB颜色空间是最不均匀的颜色空间之一，颜色空间中两个颜色之间的距离并不能表示颜色之间的知觉差异。在图像处理中，RGB颜色空间的不足还体现在RGB之间的高相关性，假如增加R,G两个分量的值，会同时引起B分量值的增加，如果这时候减少B的值，就会有溢色（OUTOFGAMUT）情况的发生。正是由于RGB颜色空间本身存在的不足之处，因此在很多研究领域中并不直接采用RGB颜色空间，而是将其转换为其他空间，例如L、HSI和CIELAB等23，经过一
31、定的处理后再将其转换到RGB空间中。但是其他的如HSI、HSV等颜色空间，虽也能很好的显示彩色图像，在视觉效果上没有太大的区别。如图45所示即为在HSI空间所得的图像合成图与原图的比较，图46为HIS颜色空间各分量值图，我们可以得到在HSI颜色空间表示图像时三个通道所得的合成图与原图之间没有太大的区别，但其也存在于RGB颜色空间相同的缺陷，颜色通道间也存在18一定的相关性。图45HIS合成图与原图的比较图46HSI各分量值图据一些研究资料可得，对于一维的线性校正，RUDERMAN等提出的去相关颜色空间L比较适用，其优点在于各个通道之间无任何的相关性2324。由于单张影像的转换可以在L空间中完成
32、，因此本文的研究也基于L颜色空间。从RGB空间转换到L空间可借助于LMS空间具体实现3。BGRSML84440128800241007820724401967004020578303811041再将LMS空间的数据转换到对数空间SML,再转换到L空间,具体实现步骤如式42与43所示。19SSMMLLLOGLOGLOG42011211111210006100031SMLL43L颜色空间中的L频道表示亮度，频道表示黄色、蓝色所组成的频道，频道表示红色、绿色所组成的频道。利用L颜色空间中各个频道的低相关性，可以让我们在改变其中一个频道的数值时，不至于影响其他频道的数值。422关键帧颜色校正标定原始影
33、像和参考影像的关键帧，在此我们选用每10帧得到一个关键帧100,101MJMJ作为控制点，接着计算关键帧每一像素在L通道、通道与通道各自的平均值与标准差，借助于REINHARD提出的颜色校正算法，完成对关键帧的颜色校正。FERENCESOURCESOURCESOURCEFERENCEFERENCESOURCESOURCESOURCEFERENCELFERENCELSOURCESOURCESOURCELFERENCEUUUUUULLRERERERERERE（44）423计算转换曲线参数功能函数相比单张图像的颜色校正而言，视频图像的校正工作量更加繁重，就算是一段很短的视频图像利用传统的校正方法仍然
34、需要浪费太多的时间，因此必须寻求一种即节省时间又高效率的校正方法，在此我们可以借助于内插技术，从而不必对每一张图像都进行处理25。依据所得到的关键帧的平均值和方差，用户可以自由选择不同的影像序列转换方式，针对L三20个不同的通道，各自计算所需的转换曲线。据一些参考文献所得，转换方式可以有不同的形式，本文采用三种转换方式线性内插、抛物线内插和三次样条函数内插（简称SPLINE插值）。424后续处理步骤经过上述转换后所产生的影像序列其颜色空间仍为L颜色空间，为了正确的显示图像，必须将其转换回RGB颜色空间，由L转换到RGB同样需借助于LMS颜色空间，具体实现如下LSML22006660003312
35、111111145SMLSML10101046SMLBGR2045124390049701624038092218611193058733467944743实验结果与分析为了验证算法的可行性，我们可以利用一系列视频进行检验。在此我们选择将二段视频序列分别作为源图像和参考图像，影像中图像大小为320240，图47、图48和图49分别表示关键帧的源图像、参考图像以及校正后的图像。利用主观方法可以看出，经过归正后的关键帧图像，其颜色外表与参考图像基本一致，这同时也证明了REINHARD算法的有效性。A第1帧（B）第20帧（C）第50帧（D）第170帧图47选取的4帧源关键帧21（A）第1帧（B）第2
36、0帧（C）第50帧（D）第170帧图48选取的4帧参考关键帧（A）第1帧（B）第20帧（C）第50帧（D）第170帧图49校正后的4帧关键帧为了进一步减少工作量，因此在对视频非关键帧进行校正时，并没有直接计算每一帧图像的平均值和标准差，而是通过三种插值方法进行拟合，这三张插值方法分别为线性插值、抛物线插值和三次样条函数插值。通过分析可得，这三种插值方法所得的结果都比较理想，源图像校正的结果与参考图像基本一致。图410、图411分别为从视频中选取的源图像和参考图像，图411、图412和图413分别表示利用线性插值、抛物线插值和三次样条函数所得到的校正图像。A第20帧（B）第54帧（C）第90帧（
37、90）第244帧图410未校正的非关键帧与已校正的关键帧A第20帧（B）第54帧（C）第90帧（90）第244帧图411参考帧22A第20帧（B）第54帧（C）第90帧（90）第244帧图412线性插值得到的校正图像A第20帧（B）第54帧（C）第90帧（90）第244帧图413抛物线插值得到的校正图像A第20帧（B）第54帧（C）第90帧（90）第244帧图414三次样条函数得到的校正图像在本文中，选用不同的内插函数所得的结果主观上没有太大的区别，为了更好的对这三种方法进行评价，借助于MATAB软件，从而得到三种方法在L通道、通道和通道各自的平均值和标准差图，如图415所示。（A）L平均值（
38、B）平均值23（C）平均值（D）L标准差（E）标准差（F）标准差图415三个通道的平均值和标准差对比图从上图可以看出，当样本数为60时，三种内插方法的不同之处主要在于最后一个小区间,BXV的值,此处即为区间50,60的区别，因此可以通过增加样本数来比较三种内插方法的优越性，下面以通道平均值为例，分别采用样本数60和80进行对比，如图416所示。24（A）样本数为60的平均值（B）样本数为80的平均值图416不同样本数通道平均值对比图25通过对通道平均值的比较我们可以看到,当样本数为80时，在区间50,60上，三种插值方法所得到的平均值图形与上述三次样条函数所得到的图形比较类似，而与线性插值和抛
39、物线插值所得到的图形相差比较大，因此可以得到三次样条函数插值所得到的结果比线性插值和抛物线插值更加理想。44颜色校正的客观评价经过校正后的图像与参考图像的视觉效果上仍会有微小差异，因此必须通过一些质量评价方法对图像的逼真度和图像的可懂度进行评价。常用的作为客观评价指标的参数有均方误差（MSE）和峰值信噪比（PSNR）等26，MSE相比PSNR来说，其与主观评价的相关性较差，一般不直接作为图像质量评价指标大多数情况下是采用PSNR作为图像质量评价指标，其优点在于便于计算和理解，能够很好的反映图像质量，PSNR值越高图像质量越高，越接近于参考图像。但是由于本文校正时源图像和参考图像并不为同一视点，
40、因此并不适用于计算PSNR值。本文采用计算校正图像与参考图像之间的颜色差值作为评价指标，具体计算公式如式48所示。222REFERENCESOURCEREFERENCESOURCELREFERENCELSOURCEUUUUUUR48我们采用了不同的测试序列对算法的性能进行了测试，同时采用颜色差值法法对线性插值、抛物线插值和三次样条函数插值产生的结果进行分析，表41、表42和表43分别显示了采用线性插值、抛物线插值和三次样条函数得到的校正图像与参考图像之间的颜色差值。表41利用线性内插所得的校正图像与参考图像之间的颜色差值序号颜色差值序号颜色差值序号颜色差值序号颜色差值1164084671598
41、584131361531191453752160980881601521141274904201461686315847329154621415125294121140187441590607101504505161247224221354608515992931114412951712487482313904276156736412154682618129411524137936226表42利用抛物线内插所得的校正图像与参考图像之间的颜色差值序号颜色差值序号颜色差值序号颜色差值序号颜色差值1164084671369816131296751913227992151968281400981141
42、081881201329664314217189138741515999415921140187441403756101421821610114332213649825137243311144129517110111823140883561334119121428977181200702241402049表43利用三次样条函数所得的校正图像与参考图像之间的颜色差值序号颜色差值序号颜色差值序号颜色差值序号颜色差值116408467157946813109975719145263221717578148714514104836120140187431724224914598641510739522
43、114429174170993710144129516114160422150349851635511111415288171236155231505861627184121265162181405009241555964为了更加直观的对这三种插值方法进行对比，图417显示了为借助于MATLAB软件所得的视频前60帧校正图像与参考图像之间的颜色差值图，其中蓝色曲线代表的是源图像与参考图像之间的颜色差值，黄色曲线代表的是经线性内插所得的校正图像与参考图像之间的颜色差值，红色曲线代表为经抛物线内插所得的校正图像与参考图像之间的颜色差值，黄色曲线代表为经三次样条函数内插所得的校正图像与参考图像之间的
44、颜色差值。2701020304050600100200300400500600700选取的60帧图像对应的颜色值差值源图像线性内插抛物线内插三次样条函数图417校正图像与源图像的颜色差值比较上图为颜色校正前后颜色差值对比图，比较了原始图像与参考图像的颜色差值和归正图像与参考图像的颜色差值比较结果，通过分析我们可以得到，经过校正后图像与参考图像之间的颜色差值明显比源图像与参考图像之间的颜色差值小，视频的编码性能得到了提高，这是由于颜色校正后视频序列视点间的相关性得到了提高，视频在相同编码比特数下，图像的质量明显提高。线性插值所得到的校正图像与参考图像之间的颜色差值平均值为1910133,抛物线插
45、值与参考图像之间的颜色差值为4387452,三次样条函数插值所得到的图像与参考图像之间的颜色差值为4177134，而源图像与参考图像之间的颜色差值平均值为459056,这进一步的说明了校正算法的有效性。285结论与展望视点间图像的颜色不一致是目前多视点视频图像处理中亟待解决的一个问题。本文根据多视点视频间颜色差异特性，实现了一种基于颜色变化曲线的颜色校正算法。实验结果表明，此法计算复杂度低，能够很好的消除视点间存在的颜色差异，并且能够提高编码性能。51本文的优势与不足之处本文的核心技术在于借助于不同的内插函数实现对中间视点的校正，相比其他校正技术而言，执行时间较快。利用关键帧作为控制点，几乎不
46、到1秒时间就可产生一张320240像素的图像，与先前利用所有帧的方法相比可以节约90的时间，在视觉效果上并没有太大的区别，所得的校正图像与源图像相比编码性能得到了很大的提升。同时结合不同的颜色变化曲线产生的影像序列长度可以自由控制，具有非常大的应用范围。由于到目前为止并没有完全成熟的校正算法，任何一项研究都存在一定的缺陷，因此在看到本文优点的情况下，同时需对本文存在的不足之处进行改进。（1）本文所利用的客观评价指标为PSNR（PEAKSIGNALTONOISERATIO），相比较MSE来说，PSNR值具有一定的优势，但是随着多媒体信息技术的发展，图像质量评价的研究越来越受到很多研究者的关注。P
47、SNR评价指标有时并不能很好的符合人眼的视觉特征，PSNR值的高低无法和人眼看到的视觉效果完全一致，有可能出现PSNR较高者看起来反而比PSNR较低者差，产生这种现象的原因是因为人眼的视觉对于误差的敏感度并不是绝对的，其感知所得的结果会受到许多因素的影响，因此仍需要深入的研究和完善。（2）中间视点的校正结果并不一定完全理想。由于本文采用的校正方法并没有对每一帧都进行处理，而是通过内插方法得到中间视点的统计信息，这不可避免的会造成中间视点统计信息的误差从而影响校正效果。3可控性不是很好。据一些参考文献20可得，控制点的产生可以有二种方法，自定义控制点和固定比率控制点。相对来说，自定义控制点所得到的颜色变化曲线比固定比率控制点得到的颜色变化曲线更加接近于色彩转换图，所得到的转换结果更加理想。但是本文由于技术的有限性，只能实现固定比率控制点的转换，这一定程度上造成了结果的
