第二章视觉的基本知识.ppt

1、第二章 视觉的基本知识,主要内容,人类视觉系统的生理构造和工作方式神经生理学认知心理学视觉系统的物理特性光度学色度学视觉系统的几何特性齐次坐标射影几何,第一节 人类生理视觉系统,1.1 人类生理视觉系统,人类所有的感觉当中，视觉具有特别重要的意义。研究表明，80%以上的外界信息是由视觉系统所接收、处理和感知的； 视觉系统所具有的各种功能使我们能够分辨万物，感知它们的大小、形状、颜色、亮暗、远近和动静；人类的视觉系统事实上指的就是眼脑系统。眼脑系统在完成上述这些视觉功能时涉及不同的视觉信息处理过程。,人类视觉的解剖结构,人类的视觉系统由以下四个部分组成:眼球; 是一个相当复杂,精细的光学仪器,起

2、到调节适当的光强,折射率.同时外界的三维景物变换成二维的视网膜上的投影眼底视网膜; 起到光电传感器的作用,吸收光量子,输出生物电流视觉通路 将生物电信号经过平均与会聚转换成一束信号,传送到大脑皮层大脑皮层视觉区 工作机理非常复杂 ,还没有被探明,眼球构造,从人眼的构造可知，它的光路是由以下几部分组成：前眼房(角膜、水样液)、虹膜和瞳孔、水晶体、玻璃体等。,人类的眼球是一个相当复杂,精细的光学仪器,眼底视网膜,视网膜包含感光细胞，水平细胞,双极细胞和神经节细胞。感光细胞，即杆体细胞和锥体细胞。锥体细胞是明视器官，它在光亮条件下发生作用，能分辨细节。共有三种锥体细胞,对应三元色.杆体细胞是暗视器官

3、对弱光反应灵敏，在低照明情况下发生作用。但它不能感受颜色，对精细物象的辨别也没有什么贡献。水平细胞.负责横向联系感光细胞,起到平均调和信号的作用.双极细胞.锥体细胞和杆体细胞经水平细胞与双极细胞连接。一般情况是每一个锥体细胞与一个双极细胞连接，这是为了在光亮条件下便于精细地感受外界的刺激。而杆体细胞往往是几十个连接到一个双极细胞。这是为了在黑暗条件下能汇集外界微弱的光刺激.神经节细胞.其细胞的视觉纤维通向大脑.,视觉通路,第一视觉通路 作用主要第二视觉通路 作用微小,光交叉:形成立体视差外膝体:作用尚不清楚,与形状深度运动检测有关,大脑皮层视觉区,大脑皮层由约1010个细胞组成根据功能分为若干

4、区。与视觉有关的有：17区: 称为主视觉区,起到景物的光学特性处理作用18、19区：对二维的特征(形状、移动等)进行处理，称为相关视觉区.20、21区：视觉的判断等高层处理。大脑皮层的工作机理非常复杂,目前有关它的工作过程仅能知道的是一切意识是和神经元的激活与抑制有关，因此有必要进一步对神经细胞单元作一定的研究。,人类视觉系统的组成,人类视觉的眼脑系统看成一个有生命的光学变换器和信息处理系统，可分为三个部分。第一部分是光学系统，由于有关的神经活动最少，因此最为简单；第二部分是视网膜。它把光信号转变成电信号，并进行某些细胞一级的处理。第一、第二两部分都在眼睛里。最后一部分是视觉信息处理，它实质上

5、是代表从视网膜到大脑皮层的视觉通路上所完成的复杂处理的统称。,1.2 神经元及视觉神经结构,神经元细胞是由细胞体,输入机构(dentrites),和输出机构(突触axon)组成.神经元的基本工作方式为激活与抑制两种状态。当输入端的生物电变化时，细胞体状态变化并产生一个相应的生物信号.,神经元的工作方式,Dentrites: x-; x为源信号,为权值(双极性), 为阈值.细胞体: 加法器Axon:调频传送免除噪声干扰和衰减影响神经元之间的传送在两个神经元的dentrites和axon之间有电解化学物质,起到电容的作用.,视觉神经结构,感受野:直接或间接影响某一特定神经细胞的光感受器细胞的全体,

6、视觉神经细胞感受野模式,在视觉系统中，任何层次或水平上的单个神经细胞均在视网膜上有一特定代表区域，在该区域上的光学刺激能影响该神经细胞的活动，这个区域定义为该细胞的视觉感受野。视网膜神经节细胞的感受野结构是同心圆的、中心和周边拮抗式的,同心圆感受野,同心圆感受野,人的视觉细胞存在视觉场结构.视点的中心区域存在正性细胞它们接收光能并产生一个正的反应。在该中心区域周围存在着负性细胞它们在接收光能时产生相反的反应。负性细胞随中心距增大而迅速稀疏，代之而起的中性细胞不产生任何反应。这种解释由诺贝尔奖金获得者Hartline得到证实。这种场结构所产生的视觉反应可由”墨西哥草帽”来表示.这种场结构可以使人

7、的视觉具有侧抑制作用，它使观察物体时保证“集中注意力”即把视觉活动集中在注意圈内，不受圈外的变化所干扰。,感受野同心圆拮抗式模型,（Rodieck, 1965）,同心圆感受野工作原理,同心圆感受野工作原理,发现问题了吗?,非经典感受野的发现,视觉系统中的反演集合结构现象的研究非经典感受野中的一些数学拓扑结构,刘建忠,中国科技论文在线,2007,3.图像特征与视觉生理结构的关系,色彩三元色与三种锥体细胞相对应视觉接受场存在有侧抑制作用,两种互相抑制色块的交界处会产生色彩增强的感觉形状形状是由线条,边缘等特征组成大脑皮层中的两种细胞:简单细胞和复杂细胞简单细胞-使用位置和方向-复杂细胞-使用方向和

8、中心-更上复杂层细胞-使用边角-,通过分层次检测得到完整的边缘和形状的感觉,视觉信息处理,运动特性外膝体细胞层中含有X细胞和Y细胞, X细胞对应较慢运动,Y细胞对应较快运动.主视觉区内有简单细胞和复杂细胞,简单细胞负责检测简单的点和线条运动,复杂细胞负责更大区域的运动边界和线条.视网膜的光敏细胞对于运动物体的光的感应仅仅是光源明暗的流动即光流，光流图像虽然是原始的运动图像，但它包含了所有运动信息。因此在计算机视觉中发展光流量理论成为运动图像研究的主要手段。,视觉信息处理,由于X细胞的外周主要是接受平均亮度信息，所以它对运动的风车不敏感。但是对于Y细胞的外周，运动的风车引起视网膜光强分布的变化，

9、从而影响到Y细胞反应变化。,1.3 认知心理学与计算机视觉,“黑箱理论”-心理学研究的主要方法直觉-与底层视觉相关的一些规律,这是我们要研究的主要内容直觉的特点:不准确与识别对象知识关系不大带有主观性人类视觉所独有,发挥了积极作用,1.视觉的适应和对比特性,人的实际视觉感受并不与客观目标的物理度量严格一致，而是与所看到的目标的周围环境、变化过程有关。人们的视觉感受往往是通过相对比较而得到的。这种比较包括与四周空间存在的“模式”进行比较，也包括时间上先前出现的“模式进行比较。这里的模式指亮度级别、色彩类型、形状因素等。这种依赖于相对比较而得到感受的视觉特性称为适应性或对比性。,马赫带指人们在明暗

10、变化的边界，常常在亮区看到一条更亮的光带，而在暗区看到一条更暗的线条。这就是马赫带现象，马赫带不是由于刺激能量的分布，而是由于受到视觉”惰性”的影响,马赫带效应,视觉”惰性”的表现,亮度,韦伯定律色彩,色调错觉边界,马赫带 形状大小,变化运动,时间的适应性,2.盖式塔组合规律,人们的视觉往往能把图像中空间散布的小点、小块看成连贯的线条或一块区域，这些线条或区域可能是一个物体的一个表面，它们往往具有一定的模式特征。人们就是通过这些模式特征收集图像中的散片,进而发现物体的形状。这种组合碎片的能力由著名的心理学家Gestalt总结成以下一些规律。,盖式塔组合规律,相似律接近律,盖式塔组合规律,光顺律

11、闭合律,盖式塔组合规律,对称律简化律,盖式塔组合规律,完形趋向律图形背景律,盖式塔组合规律的应用之一-感知修复,输入立体图对,灰度轮廓,场景图,立体视觉中的深度感知和表面完全化的相互作用机制研究(2005,中科大博士论文,王 ),静电场,电场强度与电势 电力线 电力线是光滑曲线；电力线起自正电荷（或无穷远处），止于负电荷（或无穷远处），但不会在没有电的地方中断；若带电体系中正负电荷一样多，正电荷出发的全部电力线都集中到负电荷上去；两条电力线不会相交。,修复模型,激发子的结构激发子的安置场强的计算,电力线补全,电力线补全电力线补全的修正直线：直线拟合曲线：改变初始搜索方向,电力线补全的例子,实验

12、结果,第一深度层的修复场,第一深度层的待补全轮廓,第一深度层的补全结果,实验结果,第二深度层的修复场,第二深度层的待补全轮廓,第二深度层的补全结果,实验结果,实验结果,3.深度知觉,深度知觉是重要的基本视觉信息之一。主要由双眼视觉获得。双眼视觉是指动物或人用双眼注视同一个物体时的视觉状态。正常的双眼视觉提供了视觉融合的（而不是双影的）以及高度的立体感。由于双眼在水平位置上的差别，同一个物体在左右眼的视网膜像是有微小差别的，正是这种差别为视觉系统提供了立体视觉的最基本的信息视差。立体视觉使我们得到了一个对周围世界的生动而精确的相对的深度分辨。,单眼线索,除了双眼视差提供的双眼对深度的信息外，还有

13、许多单眼的信息也有利于深度的分辨.人类即使在头部固定且只使用单目来观测外部世界时，也可以得到比较准确的深度知觉（Depth Perception）。此时，人类的主要依据是外界环境及观察对象的物理特性或现象。这些仅凭一只眼睛的视觉即可提供的线索就是单眼线索。单眼线索在绘画及摄影中发挥着重要的作用，也被称之为图形线索。,单眼线索,物体的相对大小 所谓的透视原理基于一个简单的光学事实：离眼睛或镜头近的物体看起来比离得远的大。如果我们看到两个人或任何两个物体，凭经验得知两者同样大小，那么，看起来稍大的一定离我们近。会聚的线条 透视原理中的一个特殊情况是，两条平行线会在远距离处汇合在“消失点”上。我们在

14、此时就熟悉的一个例子是两条铁轨在远方地平线上会聚为一点.,单眼线索,物体的相对大小,会聚的线条,单眼线索,质地变化率 在物质世界中，许多物体的空间位置往往都具有规则性：草地中的草、森林中的树、池塘中的百合、地板中的木板、地毯上的花纹等。当这类参照物离我们近时，我们就会清楚地看见其花纹和细部；但继续向前看，它们逐渐变小、不清晰了。詹姆斯杰吉布森把这种消失的现象称为“质地变化率”，它可以有力地显示景深。 部分重叠 当一个不透明的固体置于另一物体前时，我们就看不到后面的了。,单眼线索,单眼线索,清晰焦点的平面获得景深的一个光学手法是有选择的聚焦。把焦点对在前景物体上，那么背景则模糊而且景深浅。这就把

15、画面分成两个相对应的平面，焦点清晰的前景被摄体则从模糊的背景中跃然呈现。相反，也可以让焦点清晰的被摄体远离模糊的前景。空气透视最早注意到这种效果的是400年前的达芬奇。空气中的雾、烟或着灰尘能散射日光，使远处的物体比近处的物体显得淡而模糊。,单眼线索,单眼线索,颜色在自然景物中，冷色的物体(绿、蓝等)比色彩较淡或饱和度较低纳物体看上去较远，而暖色(大红、橙色等)表示色彩鲜艳的看上去较近。这是由于自然景色中人们看馈了原野(绿蓝色)作为远景，它们受大气水汽的影响看上去白蒙蒙的，而近处的物体则受到大气的影响小，饱和度较高。照明与阴影有力地刻画被摄体的强烈侧光照明、或强调质地和使阴影投向用相机方向的逆光照明，可以加强三维空间的效果。不产生任何阴影的平光或散射光只能拍摄出平淡的形象，而不会产生三维空间的效果。,单眼线索,