1、计算机视觉 computer vision,中国科学技术大学 自动化系,主讲： 曹洋办公室：科技楼西楼303,使用教材： Richard Szeliski，Computer Vision: Algorithms and Applications，Springer，2010参考教材：David A. Forsyth, Jean Ponce著，计算机视觉（一种现代方法），电子工业出版社 2004。课程主页：,课程教材：,待定,课程设置,课程设置：,计算机视觉,视觉基础,底层处理,中层处理,高层处理,视觉基础理论： 神经生理学、认知科学； 色度学、光学； 射影几何、矩阵理论。,图像处理： 空域图像处
2、理； 频域图像处理； 图像特征提取。,图像分割； 相机标定； 深度估计； 运动估计。,三维重建； 目标识别。,Schedule,Schedule,Schedule,考核方式,阅读报告：两人一组，从30篇计算机视觉的经典文献中挑选一篇阅读，并提交一份阅读报告及PPT。,项目报告：2-4人一组，从五个候选项目中任选一个，实现并提交项目报告以及源代码。,第一章 绪论,视,觉,计算机,智能机器：能够模拟人类的功能，感知外部世界并有效解决人所能解决问题的系统。在人类的感知器官中，视觉获取的信息量最大，大约80%，因此对于发展智能机器而言，赋予机器以人类视觉功能是十分重要的。计算机视觉：研究用计算机来模拟
3、生物外显或宏观视觉功能的技术学科。计算机视觉的任务是用图像创建或恢复现实世界模型，然后认知现实世界。具体来说，让计算机具有对周围世界的空间物体进行传感、抽象、判断的能力，从而达到识别、理解的目的。,1.计算机视觉的意义,2.视觉的过程,2.视觉的过程,2.视觉的过程,2.视觉的过程,2.视觉的过程,2.视觉的过程,计算机视觉过程,分为三个阶段 特征提取和区域分割基于轮廓,纹理,颜色建模与模式表达基于各种物体的抽象化模型描述和理解基于景物的结构知识,2.视觉的过程,输入设备(input device)的研制,包括成像设备和数字化设备成象设备是指通过光学摄像机或红外、激光、超声、X射线对周围场景或
4、物体进行探测成象，得到关于场景或物体的二维或三维数字化图像对输入的原始图像进行预处理这一过程借用了大量的图像处理技术和算法，如图像滤波、图像增强、边缘检测等，以便从图像中抽取诸如角点、边缘、线条、边界以及色彩等关于场景的基本特征；这一过程还包含了各种图像变换（如校正）、图像纹理检测、图像运动检测等,3.计算机视觉的研究内容,恢复场景的深度、表面法线方向、轮廓等有关场景的2.5维信息,并在此基础上恢复物体的完整三维图，建立物体三维描述. 根据机器预先存贮的模型知识以及形状、色彩等特征,对于图像中各种物体进行识别,确定它们用于哪一类物体.建立各个图像中物体的拓扑关系图,给出图像所反映景物的结构描述
5、.体系结构（system architecture）,涉及一系列相关的课题,并行结构、分层结构、信息流结构、拓扑结构以及从设计到实现的途径,3.计算机视觉的研究内容,图像多义性： 三维场景被投影为二维图像，深度和不可见部分的信息被丢失，因而会出现不同形状的三维物体投影在图像平面上产生相同图像的问题另外，在不同角度获取同一物体的图像会有很大的差异环境因素影响：场景中的诸多因素，包括照明、物体形状、表面颜色、摄像机以及空间关系变化都会对成像有影响.知识导引： 同样的图像在不同的知识导引下，将会产生不同的识别结果大量数据： 灰度图像，彩色图像，深度图像的信息量十分巨大，巨大的数据量需要很大的存贮空间
6、，同时不易实现快速处理,4.视觉面临的困难,上世纪50年代，从统计模式识别开始，主要集中在二维图像分析与识别，主要应用包括字符识别、工件表面检测等等。上世纪60年代，拓展到三维结构，对物体的形状，物体的空间关系进行描述。通过对积木世界的研究，引出了边缘、角点等特征提取，图像明暗、纹理、运动以及成像几何等研究工作。上世纪70年代，Marr计算视觉理论，建立一个十分重要的理论框架。,5.计算机视觉的发展（before1970s）,5.计算机视觉的发展（after1970s）,5.计算机视觉的发展（1970s）,(a) line labeling(Nalwa 1993), (b) pictorial
7、 structures (Fischler and Elschlager1973) (c) articulated body model (Marr 1982) (d) intrinsic images Barrow and Tenenbaum 1981) (e) stereo correspondence (Marr 1982 (f) optical flow (Nagel and Enkelmann 1986),5.计算机视觉的发展（1980s）,(a) pyramid blending (Burt and Adelson 1983) (b) shape from shading (Fre
8、eman and Adelson1991) (c) edge detection (Freeman and Adelson 1991) (d)physically based models (Terzopoulos and Witkin 1988) (e) regularization basedsurface reconstruction (Terzopoulos 1988) (f) range data acquisitionand merging (Banno, Masuda, Oishi et al. 2008,Marr视觉计算理论三种层次计算理论，主要解决视觉系统的计算目的和策略是什
9、么？输入输出是什么？用什么策略根据系统的输入求出输出？该层次的任务就是研究如何建立输入输出之间的约束和关系。 表示和算法，解决输入输出信息如何来表示？如何实现计算理论所对应的功能的算法？以及如何由一种表示转换成另一种表示？硬件实现，就是具体的计算装置和一些细节配置,5.计算机视觉的发展（1982）,5.计算机视觉的发展（1990s）,(a) factorization-based structure from motion (Tomasi and Kanade 1992), (b) dense stereo matching (Boykov, Veksler, and Zabih 2001),
10、 (c) multi-view reconstruction (Seitz and Dyer 1999) (d) face tracking (Matthews, Xiao, and Baker 2007), (e) image segmentation (Belongie, Fowlkes, Chung et al. 2002) (f) face recognition (Turk and Pentland 1991a).,5.计算机视觉的发展（2000s）,(a) image stitching: merging different views (Szeliski and Shum 199
11、7) (b) exposure bracketing: merging different exposures; (c) morphing: blending between two photographs (Gomes, Darsa, Costa et al. 1999 (d) turning a collection of photographs into a 3D model (Sinha, Steedly, Szeliski et al. 2008),图像处理：图像处理通常是把一幅图像变换成另外一幅图像，也就是说，图像处理系统的输入是图像，输出仍然是图像，信息恢复任务则留给人来完成计算
12、机图形学：通过几何基元，如线、圆和自由曲面，来生成图像，它在可视化（Visualization）和虚拟现实(Virtual Reality）中起着很重要的作用计算机视觉正好是解决相反的问题，即从图像中估计几何基元和其它特征因此，计算机图形学属于图像综合，计算机视觉属于图像分析模式识别：模式一般指一类事物区别于其它事物所具有的共同特征。,6.计算机视觉与其它学科领域的关系,人工智能（AI）：涉及到智能系统的设计和智能计算的研究在经过图像处理和图像特征提取过程后，接下来要用人工智能方法对场景特征进行表示，并分析和理解场景人工智能有三个过程：感知、认知和行动神经生理学与认知科学：将人类视觉作为主要的
13、研究对象计算机视觉中已有的许多方法与人类视觉极为相似许多计算机视觉研究者对研究人类视觉计算模型比研究计算机视觉系统更感兴趣，希望计算机视觉更加自然化，更加接近生物视觉,计算机视觉与其它学科领域的关系,零件识别与定位 产品检验 移动机器人导航 遥感图像分析 医学图像分析 安全鉴别、监视与跟踪 国防系统（目标自动识别ATR与目标跟踪） 其它（体育、考古、动画 ）,7.计算机视觉的应用,Sojourner 火星车前部图，中部的两个小突出是两个黑白CCD摄像机,勇气号火星车,Rocky 7 火星车,CMU月球探测实验车Nomad漫游者,基于散焦图像的场景深度重建算法,Flying sensor network (2010),Flying sensor network (2010),
