没有幻灯片标题-模式识别国家重点实验室.ppt

1、一些专刊,IEEE Computer 28(9)IEEE Trans. On PAMI 18(8)Pattern Recognition 30(4)Image and Vision Computing 17(7),某些存在的系统,Photobook, MITface, texture and shape databaseWebSeek, Columbia UWWW image search engineinclude more than 650,000 imagesImageRover, Boston UWWW image search engineuse 32 robots to colle

2、ct one million images monthlyVideoBook, HKUSTvideo retrieval system,QBIC, IBMcommercial system (trademark)MARS, Illinoisimage retrieval with relevance feedback mechanismVideoClip, Columbia Uvideo parsing and editingPrinceton Universityhigh-level video representationNeTra, UCSBobject-based video repr

3、esentation,主要内容,图象检索颜色、纹理、形状视频分析、浏览与检索镜头分割镜头表示运动分析浏览与检索,基于内容的图像检索,基于颜色、纹理、形状的图像检索基于区域的图像检索基于语义的图像检索相关反馈,图像检索演示系统,基于颜色特征的检索,颜色模型GRB、HSI、YUV颜色特征及相似性度量直方图交集算法参考颜色表法,HSI Color Space,基于颜色特征的图象检索,颜色直方图的相似性,基于颜色的图象检索,HSI颜色空间,基于颜色的图象检索,基于HSI的聚类匹配算法对图象计算H-S平面的二维直方图，即得到颜色特征向量，然后对颜色空间进行聚类。聚类匹配，在匹配中颜色间距离使用欧氏距离计

4、算：,颜色空间聚类,1 计算H-S-I颜色直方图。2 在直方图中寻找所有颜色峰值（在三维颜色空间中，大于所有六个相邻点）。3 一个峰值对应一个颜色聚类。对每一聚类标注H-S-I值和样本数。4 按样本数从大到小将各个峰值（聚类）排序。5 计算样本数不小于一定阀值的峰值的个数。6 如果步骤5中的峰值数小于步骤3中的峰值数，将样本数小于阀值的聚类重新分配到邻近的颜色类中。距离计算采样如上公式，对新的聚类计算代表色和样本数。7 对每个象素，计算到各个颜色类的距离。将该象素分配到最近邻的类当中。,颜色聚类,试验结果,加空间特征,基于纹理特征的分析,基于统计特征的纹理分析共生矩阵，心理学特征等 基于信号处

5、理的纹理分析小波变换，Gabor滤波器等 基于模型的纹理分析Markov随机场模型，Wold模型等 基于结构特征的纹理分析,基于纹理特征的匹配,从上述纹理分析的方法中得到一组描述纹理的特征量；提取这些纹理特征的数字特征（如期望、方差等），将它们组成归一化的特征向量；在某种距离空间内（如欧氏距、马氏距）寻找给定特征向量的最近匹配。,基于统计特征的纹理特征提取,Haralick等定义的基于灰度共生矩阵的纹理特征常用统计量：角二阶矩、对比度、相关、方差、熵等多尺度：改变方向和步长生成不同尺度的共生矩阵 Amadasun等定义的基于邻域灰度差别矩阵的纹理特征包括稀疏度、繁忙度、纹理力度等5个特征 Ta

6、mura等定义的6个心理学特征稀疏度、对比度、方向性、线状性、规则性及粗糙度这是一组与人类视觉特性对应的纹理特征,一个基于统计特征的纹理匹配的例子,一个基于统计特征的纹理匹配的例子,基于Gabor变换的纹理特征提取,纹理分析中常用的2维Gabor变换函数对：,构造以m、n为尺度的Gabor滤波器族：,，这里,待确定的参数：,形状描述的主要途径,基于边界（boundary-based）的形状描述 最为成功的是傅立叶描述子（Fourier Descriptor），它对边界进行傅立叶变换，将其作为形状的特征描述。 基于区域（region-based）的形状描述 主要有各种矩不变量（Moment In

7、variants）及各种简单的形状因子如面积、圆度、偏心度、主轴方向等。为解决遮挡问题，还常使用一些局部特征，如直线段、圆弧、角点、高曲率点等。,常用的形状描述子,基于几何特征：紧密度、实心度、偏心率、不规则度等；基于统计特征：粗糙度，均值，方差等；变换域特征：矩，Fourier描绘子、小波描绘子、形态描绘子等；仿射不变量：简比等；射影不变量：交比等。,形状不变量匹配,基于全局性几何特征面积、周长、长轴、短轴、主轴方向、凹凸面积、紧密度、实心度、偏心率等基于变换域特征矩、Fourier描绘子、小波描绘子、形态描绘子等基于局部特性的形状匹配方法广义Hough变换(GHT)基于神经网络和遗传算法匹

8、配方法变形模板（自由式、参数化）基于形状凹凸结构的匹配方法动态规划基于自回归模型和隐Markov模型,基于区域特征的图象检索,交互式图象分割方法基于多尺度形态滤波和水线分割法的过分；交互式标定；基于变形模板的边缘修正。基于颜色、纹理、形状的检索提取相关特征矢量；给出初始权值，检索；相关性反馈。,Shape Retrieval and Matchingby Schwarz Integral,Yang & MA Pattern Recognition 1999,A close-form solution for shape matching and similarity measurement,A

9、 multi-scale matching,1. Multi-scale representation by Schwarz integral,Shape contour is presented by a 1D periodic function,We define a complex function defined on a disc of radius 1.,Where is the shape function,It can be proved that,Where r is the scale.,is the smoothed function of where r is the

10、scale.,The Schwarz Integral can be considered as the multiscale representation of the shape function.,is a smoothed function of,2. Signal matching and similarity measurement,Matching model Let be two signals. is a one-to-one smooth function such that,is the matching function of two signals,If were a

11、 bijective function, then But in fact, is a multi-values function, may not be in the same scale, so matching two functions in different scales is not reasonable.,Instead of matching , we propose to match their Schwarz representations , by,Algorithm,(1) Extract tangent function of shape as feature fu

12、nction (2) Expand the feature function into Fourier series:,(3) We obtain the Schwarz representation of the shape,3. Compute the inverse functions of,And expand them into polynomials.,Image Retrieval from model image,(1) Extract the one-dimensional feature of model image, expand the feature function

13、 in to Fourier series and obtain the Schwarz integral (2)Compute the matching function by (3)Compute similarity measure (4)Output the most k similar image as result.,The matching method can be used both to find thecorrespondent points and to measure the similarity between two shapes,Summary,Shape re

14、presentation and Matching Global region or local feature based Optimization framework Research work* image segmentation * 3D object and occlusion* fast algorithms for large data base* robustness,聚类匹配算法,1 建立距离矩阵。2 寻找G中的最小元素Gxy。3 P(x)=y4 消去G中的x行y列，但不改变矩阵的行列下标。5 如果G为空，即已消去所有行列，结束。否则，回到2。,纹理特征分类,基于统计特征的纹理分析共生矩阵，心理学特征等基于信号处理的纹理分析小波变换，Gabor滤波器等基于模型的纹理分析Markov随机场模型，Wold模型等基于结构特征的纹理分析,