培训-先进人机通信技术联合实验室.ppt

1、2018年9月26日,1,CVPR09 Paper Review,报告人：韩琥2009/12/04,2018年9月26日,2,文章列表,#1364 A. Panagopoulos, et al., Robust Shadow and Illumination Estimation Using a Mixture Model, CVPR09, Poster#0877 Kaiming He, et al., Single Image Haze Removal Using Dark Channel Prior, CVPR09, Oral, Best Paper,2018年9月26日,3,#1364,

2、TitleRobust Shadow and Illumination Estimation Using a Mixture ModelAuthorsAlexandros PanagopoulosDimitris SamarasNikos Paragios,2018年9月26日,4,1st Author,Alexandros PanagopoulosPh.D candidate, Image Analysis Lab, CS, Stony Brook University（纽约州立大学石溪分校）Papers:. Panagopoulos, et al., Robust Shadow and I

3、llumination Estimation Using a Mixture Model, CVPR09,2018年9月26日,5,2nd Author,Dimitris SamarasAssociate Professor and Director, Image Analysis Lab, CS, Stony Brook UniversityPapers (IJCV, TPAMI, ICCV, CVPR 50)Dimitris Samaras and Dimitris Metaxas, Incorporating Illumination Constraints in Deformable

4、Models, CVPR98Lei Zhang and Dimitris Samaras, Face Recognition from A Single Training Image under Arbitrary Unknown Lighting using Spherical Harmonics, TPAMI06http:/www.cs.sunysb.edu/samaras/,Not Lei Zhang MSRA,2018年9月26日,6,3rd Author,Nikos ParagiosProfessor, cole Centrale Paris（巴黎中央电子理工学院）Papers (6

5、 Book, IJCV, TPAMI, TIP, CVIU, ICCV, CVPR30+)N. Azzabou, N. Paragios & F. Guichard. Image Reconstruction Using Particle Filters and Multiple Hypotheses Testing, IEEE Transactions on Image Processing, (minor revisions)M. de la Gorce & N. Paragios. A Variational Approach to Monocular Hand-pose Estimat

6、ion, Computer Vision and Image Understanding (minor revisions)N. Komodakis, N. Paragios & G. Tziritas. MRF Energy Minimization and Beyond via Dual Decomposition, IEEE Transactions on Pattern Analysis and Machine Intelligence (minor revisions)http:/vision.mas.ecp.fr/index.html,2018年9月26日,7,Abstract,I

7、lluminant estimation from shadows typically relies on accurate segmentation of the shadows and knowledge of exact 3D geometry, while shadow estimation is difficult in the presence of texture. 通过阴影进行光照估计通常依赖于对阴影区域的准确分割和精确的3D几何结构，然而在图像中存在纹理的情况下，阴影估计本身就很难。These can be onerous requirements; in this pape

8、r we propose a graphical model to estimate the illumination environment and detect the shadows of a scene with textured surfaces from a single image and only coarse 3D information.本文提出了一种在仅有一幅输入图像和粗糙3D几何形状的前提下，对具有纹理表面的场景进行光照估计和阴影检测的图模型。,2018年9月26日,8,Abstract,We represent the illumination environment

9、 as a mixture of von Mises-Fisher distributions. Then, each shadow pixel becomes the combination of samples generated from this illumination environment.本文将光照环境表示为混合vMF分布，于是阴影中的每个像素可以表示成该光照环境下生成若干样本的组合。We integrate a number of low-level, illumination-invariant 2D cues in a graphical model to detect

10、and estimate cast shadows on textured surfaces. 本文在图模型中集成了多种低层的具有光照不变性2D线索来检测和估计纹理表面的cast shadows。,2018年9月26日,9,Abstract,Both 2D cues and approximate 3D reasoning are combined to infer a set of labels that identify the shadows in the image and estimate the positions, shapes and intensities of the li

11、ght sources.融合2D线索和近似的3D的推理，可以推断出一组标记图像中阴影区域的标号并估计光源的位置，形状和强度Our results demonstrate that the probabilistic combination of multiple cues, unlike prior approaches, manages to differentiate both hard and soft shadows from the underlying surface texture even when we can only coarsely anticipate the eff

12、ect of 3D geometry.与以往基于先验的方法不同，即使在仅能粗略的估计3D几何信息的情况下，本文多线索融合的方法仍然能从表面纹理中同时区分出清晰阴影和模糊阴影。,2018年9月26日,10,Abstract,We also experimentally demonstrate how correct estimation of the sharpness and shape of the light sources improves the Augmented Reality results.我们也通过实验证明了准确的估计光源的锐利程度和形状能可以提高“扩增实境”的效果Augme

13、ntedReality.flv,2018年9月26日,11,Motivation,在很多情况下，场景中物体的精确3D几何信息是无法获取的，如何根据粗略的3D几何信息来检测阴影和估计光照？2D线索(图像中提取的光照不变特征)与3D推理相结合，将光照表示为混合vMF分布（von Mises-Fisher distribution，类似于在球面上的高斯分布），然后通过EM算法迭代求解模型参数。,2018年9月26日,12,讲解目标,如何用混合vMF分布对场景中的光照进行建模？如何使EM算法run起来，从而求解模型的参数？如何检测阴影？,2018年9月26日,13,讲解目标,如何用混合vMF分布对场景

14、中的光照进行建模？如何使EM算法run起来，从而求解模型的参数？如何检测阴影？,2018年9月26日,14,Basic,方向统计学：vMF分布（von Mises-Fisher）一个p维的单位随机向量x服从vMF分布，如果其概率密度函数具有如下的形式： 平均方向 相对于平均方向的集中度 与高斯分布中均值和方差的概念很相似,2018年9月26日,15,Basic,*from wiki_en：blue: = 1, green: = 10, red: = 100,本文要估计的混合vMF分布与传统意义下估计混合vMF分布的区别？,2018年9月26日,16,Basic,本文要对光照建模，因此可以用3D

15、的vMF,2018年9月26日,17,Modeling,对于图像中一个像素点i，对该点的入射光辐射度进行N个方向的随机采样，到达该点的辐射度L(i)可以表示为沿着各个随机方向 的辐射度之和：沿某些方向的光线有可能存在遮挡问题，因此定义遮挡因子（权重）：,2018年9月26日,18,Modeling,沿着每个随机方向 的辐射度，可以用具有M个component的混合vMF分布来建模：所有component的光照强度之和每个componet的初始平均方向 随机选择参数：,注意：只需要估计1个混合vMF分布，而不是P（像素数）个,2018年9月26日,19,Modeling,沿某些方向的光线有可能存

16、在遮挡问题，因此定义遮挡因子:于是：,2018年9月26日,20,讲解目标,如何用混合vMF分布对场景中的光照进行建模？如何使EM算法run起来，从而求解模型的参数？如何检测阴影？,2018年9月26日,21,Parameter Estimation - EM,所有P个像素的集合：所有PN个随机采样方向的集合：所有M个混合vMF分布的集合：,2018年9月26日,22,Parameter Estimation - EM,E-step根据当前参数 的基础上，计算由于光照vMF分布中的 而使像素 处于阴影中的概率 像素 标记为阴影的概率 像素 在所有光照下的阴影强度值 0,1, 第一次迭代的初值为

17、1(若初始标记为阴影)或0 光照分布 所贡献的阴影强度值,2018年9月26日,23,Parameter Estimation - EM,E-step对于像素 的每一个随机采样的方向 ,对应隐变量 ，其对应的期望：在每次迭代过程中，E-step每次只更新混合vMF分布中一个分量 相关的参数,2018年9月26日,24,Parameter Estimation - EM,M-step更新混合vMF分布的参数参数 的更新不使用E-step输出的概率，而是基于图像的梯度来计算,2018年9月26日,25,Parameter Estimation - EM,混合vMF分布中 分量的集中度参数 的估计利

18、用 与其所贡献的阴影图的梯度强度之间的相互关系来近似求解如果 所贡献的阴影图的梯度强度越大，则意味着 中所包含的光照方向相对集中，即 的集中度参数 较大可以想象一下手术无影灯（集中度参数较小，所产生的阴影图梯度强度小，即无影）,2018年9月26日,26,Parameter Estimation - EM,实验中方向的随机采样数目N=200平均迭代次数为15混合vMF分布的component数目M未说明，但如果平均迭代次数为15 ，则M应当小于15,2018年9月26日,27,讲解目标,如何用混合vMF分布对场景中的光照进行建模？如何使EM算法run起来，从而求解模型的参数？如何检测阴影？,2

19、018年9月26日,28,Shadow Detection,Initial shadow borders using 2D illumination-invariant cuesRefinement using estimated illumination and rough geometry G比如用一个立方体近似汽车的几何形状,2018年9月26日,29,Shadow Detection,本文所使用3种的光照不变的2D线索：归一化的rgb: r/(r+g+b), g/(r+g+b), b/(r+g+b) :1D illumination-invariant representation (

20、是灰度图),G. Finlayson, et al., On the Removal of Shadows from Images, TPAMI06,2018年9月26日,30,Shadow Detection,2018年9月26日,31,Shadow Detection,细化修正过程：由EM算法估计出的光照参数 和粗糙的3D几何体G计算出一个阴影图（光线与G是否相交）,2018年9月26日,32,Results,2018年9月26日,33,Results,2018年9月26日,34,#0877,TitleSingle Image Haze Removal Using Dark Channel

21、 PriorBest Paper, CVPR09AuthorsKaiming HeJian SunXiaoou Tang,2018年9月26日,35,1st Author,Kaiming HePh. D candidate, Multimedia Laboratory, IE, CUHKBS, Academic Talent Program, THU, 2007Papers:Single Image Haze Removal Using Dark Channel Prior, CVPR09http:/personal.ie.cuhk.edu.hk/hkm007/,难道我像泰国人吗？_,2018

22、年9月26日,36,2nd Author,Jian SunLead Researcher, Visual Computing Group, MSRABS(1997), MS (2000) and Ph.D (2003) Xian Jiaotong UniversityPapers:Zhong Wu, Qifa Ke, and Jian Sun. A Multi-Sample, Multi-Tree Approach to Bag-of-Words Image Representation. ICCV09.Litian Tao, Lu Yuan, and Jian Sun. SkyFinder:

23、 Attribute-based Sky Image Search. SIGGRAPH09.Jiangyu Liu, Jian Sun, and Heung-Yeung Shum. Paint Selection. SIGGRAPH09Kaiming He, Jian Sun, and Xiaou Tang. Single Image Haze Removal using Dark Channel Prior. CVPR09Zhong Wu, Qifa Ke, Michael Isard, and Jian Sun. Bundling Features for Large Scale Part

24、ial-Duplicate Web Image Search. CVPR09 http:/ Author,Xiaoou TangProfessor, Multimedia Laboratory, IE, CUHKBS (1990, USTC), MS (1991, Roch.), PhD (1996, MIT) Papers: (196, IJCV, TPAMI, ICCV, CVPR,)C. Xu, J. Liu, and X. Tang, “2D Shape Matching by Contour Flexibility,” TPAMI09.J. Liu, L. Cao, Z. Li, a

25、nd X. Tang, “Plane-Based Optimization for 3D Object Reconstruction from Single Line Drawings,” TPAMI08.L. Cao, J. Liu, and X. Tang, “What the Back of the Object Looks Like: 3D Reconstruction from Line Drawings without Hidden Lines,” TPAMI08. http:/www.ie.cuhk.edu.hk/people/xotang.html,2018年9月26日,38,

26、Abstract,In this paper, we propose a simple but effective image prior - dark channel prior to remove haze from a single input image. 本文提出了一种简洁高效的用于单幅输入图像去雾的图像先验 - dark channel priorThe dark channel prior is a kind of statistics of the haze-free outdoor images. It is based on a key observation - most

27、 local patches in haze-free outdoor images contain some pixels which have very low intensities in at least one color channel. Dark channel prior 是一种对无雾的图像的统计规律：在无雾图像中，大部分图像块中至少有一个颜色通道具有很小的颜色强度值,2018年9月26日,39,Abstract,Using this prior with the haze imaging model, we can directly estimate the thicknes

28、s of the haze and recover a high quality haze-free image.利用dark channel prior，可以直接从一幅有雾的图像中估计出雾的浓度，并恢复出高质量的去雾图像Results on a variety of outdoor haze images demonstrate the power of the proposed prior. Moreover, a high quality depth map can also be obtained as a by-product of haze removal.大量户外有雾图像上的实验

29、结果证明了dark channel prior的有效性，并且在去雾的同时，能得到高质量的图像深度图（副产品）。,2018年9月26日,40,Hazy Images,2018年9月26日,41,目标,单幅输入图像I,去雾图像J,深度图,2018年9月26日,42,Hazy Image Model,在CV,CG中广泛应用的带雾图像模型： :观测到的图像 :场景辐射度（去雾后的图像） :全局大气光照 :介质（雾）的透过率已知I, 求解J, A, t, 病态问题,2018年9月26日,43,Motivation,*This slide is from Kaiming Hes talking slide

30、s in CVPR09.,2018年9月26日,44,Motivation,有雾的图像中，不同位置的雾，浓度往往是不同的，于是首先利用dark channel prior估计出雾的透过率图 （transmission map, 反应了图像中雾的浓度变化）利用雾的透过率图恢复场景的辐射度J（去雾的图像）,2018年9月26日,45,Related Works,之前单幅图像去雾的代表性方法：最大化局部对比度：R. Tan, Visibility in Bad Weather from a Single Image, CVPR08独立成分分析：R. Fattal, Single Image Deha

31、zing, SIGGRAPH08,2018年9月26日,46,Dark Channel Prior,该思想并非首次提出：DOS (Dark-object Subtraction) global?P. Chavez. An Improved Dark-object Subtraction Technique for Atmospheric Scattering Correction of Multispectral Data. Remote Sensing of Environment, 24:450479, 1988Spatially homogeneous haze is removed b

32、y subtracting a constant value corresponding to the darkest object in the scene.当图像中雾的浓度是均匀的时候，DOS去雾效果非常好！本文的Dark Channel Prior 是否可以理解成 local DOS?,2018年9月26日,47,Dark Channel Prior,在一个非天空区域的无雾图像块中，某些像素中至少有一个颜色通道，具有很低的颜色强度值 图像J的第c个颜色通道 以像素x为中心的块作者在实验中对于600x400的图像取块的大小为15x15,2018年9月26日,48,Dark Channel Prior,2018年9月26日,49,Dark Channel Prior,随机选了5000幅户外无雾图像，并手工将天空区域裁剪掉Image size: 500x500, patch size: 15x1575% dark channel values = 086% dark channel values 1690% dark channel values a demo system a method or an idea”,2018年9月26日,65,谢谢!,