1、1,第4章 图像分割,多媒体信息处理,2,主要内容,图像分割图像分割引言间断检测边缘连接和边界检测门限处理基于区域的分割,3,图像分割引言,计算机处理图像的两个目的产生更适合人观察和识别的图像由计算机自动识别和理解图像图像分割是图像识别和图像理解的基础,图像分析系统的基本构成如下图：,在该系统中，图像的增强和恢复可以看作预处理，其输入、输出均是图像，它是传统的图像处理的内容。而图像分割、特征提取及结构分析等称为图像识别，其输入是图像，输出是描述或解释。,图像分割引言,5,图像分割引言,图像分割的定义图像分割是把图像分割成互不交叠的有意义区域，以便进一步的分析，分开的区域一般是图像中我们感兴趣的
2、目标图像分割是基于目标或区域的特征进行的每个目标或区域由于某些特征的不同与其它区域区别开来，边缘、纹理、形状、颜色等都是重要的特征,6,图像分割引言,图像分割算法一般是基于亮度值的不连续性和相似性不连续性是基于亮度的不连续变化分割图像，称为基于边界的技术，如边缘检测相似性是指根据不同的准则将图像分割成相似的区域，称为基于区域的技术，如阈值分割、区域生长、区域分裂和合并,图像分割的目的把图像分解成构成它的部件和对象；有选择性地定位感兴趣对象在图像中的位置和范围。,从简到难，逐级分割控制背景环境，降低分割难度注意力集中在感兴趣的对象，缩小不相干图像成分的干扰。,图像分割的基本思路,提取轮廓,车牌定
3、位,车牌识别,图像分割的基本策略：,把像素按灰度划分到各个物体对应的 区域中去；,确定存在于区域间的边界；,先确定边缘像素点，然后将它们连接起来 构成所需的边界；,4.图像分割的方法1) 基于边缘的分割方法:先提取区域边界，再确定边界限定的区域。2) 区域分割:确定每个像素的归属区域，从而形成一个区域图。3) 区域生长:将属性接近的连通像素聚集成区域。4) 分裂合并分割:综合利用前两种方法，既存在图像的划分，又有图像的合并。,11,图像分割引言,12,间断检测,间断检测是基于图像像素灰度值的不连续性进行图像分割点检测线检测边界检测寻找间断最一般的方法是模板检测,13,间断检测,点检测使用空域高
4、通滤波器来检测孤立点，如果 ，则认为在模板中心的位置检测到一个点，T是非负门限孤立点：该点的灰度级与其背景的差异相当大，并且它所在的位置是一个均匀的或者近似均匀的区域基本思想：如果一个孤立点与它周围的点很不相同，则很容易被上述模板检测到。在灰度级为常数的区域，模板响应R为0,14,间断检测,点检测R=(-1*10*8+8*100)/9=720/9=80可以设置阈值T = 50若R=0，则说明检测点与周围点像素值相同若R T，则说明检测点与周围点像素值非常的不同，为孤立点,10,10,10,10,100,10,10,10,10,图像,-1,-1,-1,-1,8,-1,-1,-1,-1,模板,15
5、,间断检测,16,间断检测,线检测第一个模板对水平方向的线条（单像素宽）有更强的响应第二个模板对于45度方向线有最佳响应第三个模板对垂直线有最佳响应第四个模板对于-45度线有最佳响应每个模板系数相加总和为0，保证了在灰度级恒定的区域，模板响应为0,17,间断检测,线检测通过典型模板计算值的比较，确定一个点是否在某个方向的线上，以及当前图像的线性特征用四种模板分别计算R1=24R2=0R3=0R4=0,18,间断检测,图一为原图像，图二为使用负45度检测器处理后的结果（取绝对值），图三为满足阈值条件的所有点，阈值条件为大于等于原图像中的最大值,19,间断检测,边缘检测边缘是位于两个区域的边界线上
6、的相连像素的集合边缘可以通过计算局部微分算子来检测一阶导数：通过梯度来计算二阶导数：通过拉普拉斯算子来计算,理想数字边缘,该模型生成的图像边缘是一组相连的的象素集合（垂直方向上），每个象素都处在灰度跃变的一个垂直的台阶上。,间断检测,斜坡的斜率与边缘的模糊程度成正比。,斜坡数字边缘,间断检测,可用一阶导数的幅度值来检测边缘的存在一阶导数的幅度峰值对应边缘位置,二阶导数在一阶导数的阶跃上升区有一个向上的脉冲，而在一阶导数的阶跃下降区有一个向下的脉冲。这2个阶跃之间的过零点正对应原图像中的边缘位置。二阶导数的过零点对应边缘位置，二阶导数在过零点附近的符号确定边缘象素在图像边缘的暗区或明区,间断检测
7、,23,间断检测,左图第一列为原图像及其灰度级第二列为一阶导数的图像显示及其值第三列为二阶导数的图像显示及其值,从上向下的四行分别是无噪声、轻微噪声、中等噪声和严重噪声的情况一阶、二阶导数对噪声比较敏感，因此图像受到噪声的干扰时，通过求导数不能准确的检测边缘,间断检测,上图中第1列的图像分割显示了分割左右黑白区域的4个斜坡边缘的特写图。左上角的图像分割是无噪声的. 第1列的其他3幅图分别被附加的零均值且标准差伟0.1,1.0和10.0灰度级的高斯噪声污染。每幅图像下面显示的图是穿过图像的水平扫描线的灰度级剖面线。第2列图像是左边图像的一阶导数图像,在恒定的黑色和白色区域导数为零。这是在导数图像
8、中的两个黑色区域。不变化的斜坡导数是常量,大小等于斜坡的斜率。这个在导数图像中不变的区域用灰色表示。当我们将中心列向下移时,导数变得与无噪声情况时越来越不相同。这些例子很好地说明了导数对于噪声的敏感性。第3列图像显示二阶导数对于噪声甚至更为敏感。二阶导数图像和剖面线清楚地说明了,实际检测这些图像中为正和为负的分量很困难,而这些分量是在边缘检测中非常有用的二阶导数特性。,24,25,间断检测,边缘检测梯度算子函数f(x,y)在(x,y)处的梯度为一个向量：向量的大小：近似为：向量的方向,边缘在点(x,y)处的方向与此点的梯度向量方向垂直,26,间断检测,边缘检测Robert交叉梯度算子特点：与梯
9、度算子检测边缘的方法类似，对噪声敏感，但效果较梯度算子略好。,27,间断检测,边缘检测Prewitt算子特点：在检测边缘的同时，能抑止噪声的影响.,28,间断检测,边缘检测Sobel算子特点：对4邻域采用带权方法计算差分；能进一步抑止噪声；但检测的边缘较宽。,Sobel算子与Prewitt算子相比有较好的噪声抑制功能,29,间断检测,边缘检测用于检测对角线方向上突变的Prewitt和Sobel模板,30,间断检测,图a原图像，图b为x方向梯度图Gx，图c为y方向梯度图Gy ，图d为完整梯度图Gx+ Gy,间断检测,上图说明了梯度的两个分量|Gx|和|Gy|的响应与这两个分量之和生成的梯度图像。
10、(b)和(c)中两个分量的方向性是很明显的。特别注意, (b)中屋瓦,砖块的水平接缝和窗户的水平分段的图像是非常清晰的.与之形成对照的是 (c)中表现出的垂直部分,诸如墙附近的拐角,窗户的垂直部分,砖块的垂直接缝和图片右侧的街灯柱子。原图分辨率相当高(12001600像素),且在图片摄取的距离上,墙砖对图像细节的影响仍十分显著。这种程度的细节通常是不符合要求的。减少这种影响的一种方法是对图像进行平滑处理。,31,32,间断检测,图e经过5X5均值滤波后的原图像，图f为x方向梯度图Gx，图g为y方向梯度图Gy ，图h为完整梯度图Gx+ Gy,间断检测,图像e为对原图像a使用了一个55的均值滤波器
11、进行平滑处理后结果。现在每个模板的相应几乎未显示出由砖块造成的影响,得到的结果几乎都是主要的边缘。注意取均值造成所有的边缘相应都被削弱。a-h中明显显示出,水平和垂直Sobel模板对正负450方向边缘的反映几乎一样好。图i和j显示的是对角Sobel模板的绝对响应。在这幅图中,这些模板更强的对角响应是很明显的。两个对角模板对水平和垂直的边缘具有相似的相应,但正如所期望的那样,它们在这些方向上的响应比图 (b)和图 (c)中显示的Sobel模板在水平和垂直方向上的响应要弱。,33,34,间断检测,图i为使用用于检测45度对角线方向上突变的Sobel模板的结果图j为用于检测负45度对角线方向上突变的
12、Sobel模板,35,间断检测,边缘检测拉普拉斯算子图像函数f(x,y)的拉普拉斯变换为,36,间断检测,边缘检测拉普拉斯算子一般不以其原始形式用于边缘检测的原因是拉普拉斯算子对噪声非常敏感拉普拉斯算子的幅值产生双边缘不能检测边缘的方向拉普拉斯算子在分割中的作用利用它的零交叉性质进行边缘定位确定一个像素在边缘暗的一边还是亮的一边,37,间断检测,边缘检测高斯型拉普拉斯算子高斯函数的目的是对图像进行平滑拉普拉斯算子的目的是提供一幅用零交叉确定边缘位置的图像图像的平滑处理减少了噪声的影响,38,间断检测,边缘检测Laplacian算子和平滑Gaussian滤波器进行结合来进行边缘检测,39,间断检
13、测,LoG检测结果,Sobel算子检测结果,LoG图像阈值分割的结果,零交叉点,40,间断检测,边缘检测拉普拉斯算子和Sobel算子比较缺点边缘由许多闭合环的零交叉点决定零交叉点的计算比较复杂优点零交叉点图像中的边缘比梯度边缘细抑制噪声的能力和抗干扰能力比梯度算子强结论：梯度算子用的更多,41,间断检测,边缘检测边缘检测的Matlab函数BW = edge(I,sobel)BW = edge(I,prewitt)BW = edge(I,roberts)BW = edge(I,log)BW = edge(I,zerocross,thresh,h),间断检测,Canny算子1986 年，Canny
14、 提出了边缘检测算子应满足以下3 个判断准则：信噪比准则，定位精确度准则，单边缘响应准则，并推导出了Canny 算子。实现步骤有四个子过程：第一步首先用二维高斯函数的一阶导数对图像进行平滑第二步用22 邻域一阶偏导的有限方差来计算平滑后的数据阵列I(x,y) 的梯度幅值和梯度方向第三步，为了精确定位边缘，必须细化梯度幅值图像M(i, j) 中的屋脊带，只保留幅值局部变化最大的点，这一过程称为非极大值抑制最后在第四步，对经过非极大值抑制的数据阵列N(i, j) 分别使用高、低2 个阈值h 和l分割图像，得到两个阈值边缘图像,42,间断检测,Canny算子的优缺点该算法有较好的抑制噪声的能力，可以
15、较完整的检测出边缘。但比传统边缘微分算子复杂，运算速度慢。另外，Canny 算子的双阈值是根据全局特征信息来决定的，这导致了一方面无法消除局部噪声干扰，另一方面又会丢失灰度值变化缓慢的局部边缘。可以通过改进双阈值的选取算法提高Canny 算子的边缘检测性能。,43,间断检测,44,间断检测,45,46,边缘连接和边界检测,边缘连接由于噪声、不均匀照明等原因产生边缘间断，使得到的一组像素很少能完整地描绘一条边缘典型的做法是在使用边缘检测算法之后，使用连接过程将边缘像素组合成有意义的边缘局部处理,47,边缘连接和边界检测,局部处理分析图像中每个边缘点(x,y)的一个邻域内的像素，根据某种准则将所有
16、相似点进行连接，由满足该准则的像素连接组成的一条边缘，称为边缘连接，又称为边缘跟踪。连接原则比较两个边缘点梯度算子的响应强度和梯度方向来确定两个点是否属于一条边,48,边缘连接和边界检测,局部处理比较边缘像素的梯度算子的响应强度比较边缘像素的梯度方向比较梯度向量的方向角当梯度值和方向角都是相似的，则点(x,y)，与边点界(x,y)是连接的。,如果,，则点(x,y) 与其邻域内的点,如果,，则点(x,y) 与其邻域内的点,(x,y)的梯度响应强度相似,(x,y)的梯度方向相似,连接算法步骤,49,1）设定A、T的阈值大小，确定邻域的大小；2）对图像上每一个像素的邻域点进行分析，判断是否需要连接；
17、3）记录像素连接的情况，另开一个空间，给不同的边以不同的标记；4）删除孤立线段，连接断开的线段。,50,边缘连接和边界检测,局部处理如果梯度算子的响应强度和梯度方向都是相似的，则边缘点(x,y)和(x,y)是连接的,边缘连接光栅扫描跟踪,边缘跟踪的方法很多，常见的有光栅跟踪和轮廓跟踪光栅扫描跟踪光栅扫描跟踪是一种采用电视光栅行扫描顺序对遇到的像素进行分析，从而确定是否为边缘的跟踪方法。光栅跟踪方法的基本思想: 利用检测准则确定和接受对象点，根据被接受的对象点和跟踪准则确定并接受新的对象点，将所有标记为1 且相邻的对象点联接起来就得到了检测到的细曲线。,51,边缘连接光栅扫描跟踪,使用光栅跟踪方
18、法，需要遵循下面的三个准则参数准则：需要事先确定检测阈值d 、跟踪阈值t ，且要求dt；检测准则：对图像逐行扫描，将每一行中灰度值大于或等于检测阈值d 的所有点（称为接受对象点）记为1； 跟踪准则：设置位于第i 行的点(i, j) 为已接受的对象点，如果位于第i +1 行上的相邻点(i+1,j1)、(i+1,j)和(i+1,j+1)的灰度值大于或等于跟踪阈值t ，就将其接受为新的对象点，并记为1。,52,边缘连接光栅扫描跟踪,具体步骤(1) 确定一个较大的阈值d为检测阈值，把高于该阈值的像素作为对象点。(2) 选择一个较低的阈值t 作为跟踪阈值，且要求td，该阈值可以根据不同准则来选择；可选择
19、灰度差、梯度方向、对比度等作为跟踪阈值。(3) 从第一行起用检测阈值d 逐行对图像进行扫描，依次将灰度值大于或等于检测阈值d 的点的位置记为1。(4) 确定跟踪邻域，如下图中选取的 (i+1,j1)、(i+1,j)、(i+1,j+1) 。(5) 从第二行起逐行扫描图像，若图像中的(i, j) 点为对象点，则在第i +1 行上找该点跟踪邻域中灰度差小于或等于跟踪阈值t 的邻点，并确定为新的对象点，将相应位置记为1。(6) 对于已检测出来的某个对象点，进行跟踪结束、分支和合并的处理。如果某个对象点（由于步骤(3)的原因产生的对象点）在上一行的对应邻域中没有对象点，则说明一条新的曲线可开始。(7)
20、重复(5)、(6)这两个步骤，直至图像中最末一行被扫描完为止。,53,54,边缘连接光栅扫描跟踪,55,边缘连接光栅扫描跟踪,光栅跟踪的优缺点光栅扫描跟踪法是一种简单的利用局部信息、通过扫描的方式将边缘点连接起来的方法。该跟踪算法采用电视光栅行扫描顺序对遇到的像素进行分析，从而确定其是否为边缘。由于光栅扫描跟踪和扫描方向有关，因此最好沿其他方向再跟踪一次。,56,边缘连接轮廓跟踪法,一种适用于黑白二值图像的图像分割方法，而且轮廓跟踪改变了光栅跟踪中扫描方向的单一的缺点，跟踪方向可以是任意方向，并且有足够大的跟踪距离。轮廓跟踪是改变了邻域定义和跟踪准则的一种二值图像的光栅跟踪法。算法的具体步骤(
21、1)在靠近边缘处任取一起始点，然后按照每次只前进一步，步距为一个象素的原则开始跟踪；(2)当跟踪中的某步是由白区进入黑区时，以后各步向左转，直到穿出黑区为止；(3)当跟踪中的某步是由黑区进入白区时，以后各步向右转，直到穿出白区为止；(4)当围绕目标边界循环跟踪一周回到起点时，则所跟踪的轨迹便是目标的轮廓；否则，应继续按(2)和(3)的原则进行跟踪。,57,边缘连接轮廓跟踪法,58,白区进入黑区，左转黑区进入白区，右转,4 图像阈值分割,原理,取阈值是一种广泛使用的图像分割技术，通过对灰度取阈值后得到的图像，各个区域可以分离开，但要将目标提取出来，还需要将各区域识别标记。,阈值分割,60,不同颜
22、色的细胞,61,图像输入,图像分割,参数测量,数据输出,细胞自动分析模块,阈值分割,62,RGB分解,阈值分割,阈值分割,63,概率和：,像素和：,阈值分割,直方图统计特性,64,平均值,类间方差,方差,阈值t,阈值分割,颜色深浅,65,灰度值分布状态,阈值分割,66,基本思想：通过对灰度取阈值后得到的图像，各个区域可以分离开原理：,目标图像灰度图,确定灰度阈值,分割图像,阈值分割-人工试探分割法,67,阈值分割-自动估计全局阈值法,68,69,目标图片,阈值分割-自动估计全局阈值法,阈值分割-大津单阈值算法,大津算法(Otsus Method):基于类间方差的阈值分割单阈值类间方差,70,7
23、1,当类间方差最大时，图像分割效果最好,通过遍历尝试t，当类间方差最大时，t为最佳阈值,阈值分割-大津单阈值优化目标,阈值分割-大津单阈值,72,目标图片,阈值分割-大津单阈值,73,阈值分割-大津双阈值分割法,74,双阈值目标优化函数,75,目标RGB图像,单阈值分割,双阈值分割,目标灰度图像,阈值分割-大津双阈值分割法,76,目标RGB图像,双阈值分割,目标灰度图像,单阈值分割,阈值分割-大津双阈值分割法,基于区域的分割,飞机如何被探测到的？,77,78,基于区域的分割,基本公式分割的目标是将图像划分为不同的区域令R表示整幅图像，可以将分割看成是将R划分为n个子区域的过程，n个子区域满足以
24、下条件完备性：连通性：每个Ri都是一个连通区域独立性：单一性：互斥性：,区域增长法,通过象素聚合的区域增长法是最基本的区域分割技术。根据事先定义的准则将象素或子区域聚合成更大区域的过程。,区域生长的三个问题：种子：进行生长的起点。相似性准则：确定增长的规则。终止规则：考虑区域大小、形状、相似性等因素。,80,基于区域的分割,区域生长算法实现根据图像的不同应用选择一个或一组种子选择一个条件从该种子开始向外扩张，首先把种子像素加入集合，然后不断将与集合中各个像素连通、且满足给定条件的像素加入集合上一过程进行到不再有满足条件的新像素点加入集合为止,81,基于区域的分割,单连接区域增长方法：,对图像进
25、行光栅扫描，求出不属于任何区域的象素（根据 图像的不同应用选择一个或一组种子，它或者是最亮或最暗 的点，或者是位于点簇中心的点。）；,2. 将该点的灰度值与其邻域内不属于任何一个区域的 象素灰度值比较，如果其差的绝对值小于某个设定的门限值，就把它们合并为同一区域；,3. 对新合并的象素，重复（2）的操作；,4. 反复进行（2）（3）的操作，直到不能再增加为止；,5. 返回至（1），重新寻找能为新区域出发点的象素。,例：设有一数字图像，如图所示。检测灰度为9，平均灰度均匀测 度度量的阈值为2，采用区域增长技术对图像进行分割。,(8988)/4=8.25,(8+8+9+7+7+8+7+8)/8=7
26、.75,8,8,7,7,7,6,8,8,6,8,6,6,6,(6+6+6+8+8+9+7+6+7+8+8+6+7+8)/14=7.14,判断准则是：如果某像素(种子点8邻域内)与种子像素的灰度值差的绝对值小于门限T，则将该像素纳入种子像素所在的区域,(8+7+8+7+8)/5=7.6,84,基于区域的分割,区域生长1个种子像素已用深底色标出，画出T=3的区域生长结果。,目标图像,生长点200,220,生长点500,220,86,基于区域的分割,87,基于区域的分割,区域分裂和合并的常用的准则同一区域中最大灰度值与最小灰度值之差或方差小于某选定的阈值；两个区域的平均灰度值之差及方差小于某个选定的
27、阈值；两个区域的灰度分布函数之差小于某个选定的阈值；两个区域的某种图像统计特征值的差小于等于某个阈值。,四叉树分裂原则根据给定的均匀性检验准则P进行四分裂,基于区域的分裂-原则,88,给定的均匀性检验准则对全图按照准则进行分裂 检查各子块，直到全部满足准则,基于区域的分裂-分裂步骤,准则：最大值与最小值之差小于等于6,89,基于区域的分裂-分裂结果：矩阵,90,四叉树分裂结果,局部结果,目标图像,基于区域的分裂-分裂结果：图像,91,基于区域的分裂-分裂结果：图像,92,分裂的缺陷：可能存在具有相同性质的相邻区域改进：分裂后，再合并,基于区域分裂与合并,93,94,基于区域分裂与合并-步骤,改进：分裂后，再合并对分裂后各子块进行检查对分裂后的每相邻两块，进行检查,准则：最大值与最小值之差小于等于6,1.0625,6.9375,20.75,4.25,5.5,12,10,4,5.5,基于区域分裂与合并-结果,95,20.75,目标图像,分裂后结果,分裂合并后结果,基于区域分裂与合并-结果,96,基于区域分裂与合并-结果,97,98,小结,图像分割图像分割引言间断检测点检测线检测边缘检测边缘连接和边界检测局部处理门限处理:基本全局门限基于区域的分割:区域生长,
