1、多媒体搜索引擎,多媒体文档内容理解技术(2),2018年9月24日,Multimedia Search Engine,2,图像分割,对象分割把图像分割成有独立语义的区域如何描述区域的语义？,2018年9月24日,Multimedia Search Engine,3,图像分割,视频分割（shot detection）视频是图像的时间序列在时间轴上应该分割成小的单元镜头：摄像机从打开到关闭所拍摄的一段视频镜头边界：两个镜头之间的边界镜头分割：分析视频，标记镜头边界,2018年9月24日,Multimedia Search Engine,4,视频分割,镜头分割镜头边界种类突变：前后帧分属不同镜头渐变
2、：存在几个过渡帧,2018年9月24日,Multimedia Search Engine,5,视频分割,镜头分割基本原理：比较一定距离的两帧差异，大于阈值则为镜头边界,-,如何计算帧间差异？,如何决定最佳阈值？,如何确定帧距离？,阅读论文,2018年9月24日,Multimedia Search Engine,6,特征提取,特征可以表示图像区域的某方面特性的量像素颜色，纹理，形状位置，大小分类如何提取？如何表示？用数学模型表示特征量的方法从原始像素转换成特征量的算法,2018年9月24日,Multimedia Search Engine,7,特征提取,特征要求1：尽可能多地保留需要的信息要求2
3、：尽可能少地保留噪声要求3：维数尽量低运算量小鲁棒性好算法容易设计,2018年9月24日,Multimedia Search Engine,8,特征提取,像素特征直接用像素的颜色值表示特征实现简单信息质量差仅包含单个像素的信息同时包含需要的信息和不需要的噪声难以表示全局信息后续分类和处理困难,2018年9月24日,Multimedia Search Engine,9,特征提取,颜色特征颜色是人眼非常敏感的特征如何提取和表示颜色特征？平均颜色把所有像素的颜色值当作矢量，计算所有像素的颜色矢量的算术平均,2018年9月24日,Multimedia Search Engine,10,特征提取,颜色特
4、征颜色矩如果把像素看成随机变量，则其分布特性可以由矩来描述一阶矩(均值)：二阶中心矩(标准差):三阶中心矩:维数低，易于计算信息量少，对噪声敏感,2018年9月24日,Multimedia Search Engine,11,特征提取,颜色特征颜色直方图直方图：概率密度函数颜色：三维如何统计直方图？方法1：三维颜色直方图直方图的每个槽对应一组（R,G,B）矢量值RGB均0255直方图有256*256*256=16M个槽图像像素数：704*576=405K, 1920*1080=2M统计直方图需要使用较粗的量化一般量化成16级16*16*16=4096个槽维数仍然很高,2018年9月24日,Mul
5、timedia Search Engine,12,特征提取,颜色特征颜色直方图方法2：三个一维直方图对R、G、B三个颜色分别统计一个直方图不进一步量化：256+256+256=768维每种颜色量化成16级：16+16+16=48维优点：维数大大降低缺点：颜色之间的相关信息丢失在较独立的颜色空间统计（如：YUV，HSI）亮度统计一维直方图，色度统计二维直方图直方图的维数仍然较高,2018年9月24日,Multimedia Search Engine,13,特征提取,颜色特征聚类颜色直方图普通颜色直方图不管图像本身的颜色分布，整个颜色空间的所有颜色都是直方图的槽维数高必须覆盖整个颜色空间精度差对颜
6、色空间的机械分割为了在合理的维数内实现，颜色空间的划分很粗利用图像本身的像素进行聚类，用聚类中心作为直方图的槽不同图像的直方图各维没有统一的物理含义,2018年9月24日,Multimedia Search Engine,14,特征提取,纹理特征纹理：临近像素的变化趋势和模式一定尺度内的一种分布模式可以是固定的模式：如砖墙可以是概率的模式：如草地与像素的绝对颜色/亮度关系较小与颜色/亮度差异关系大,2018年9月24日,Multimedia Search Engine,15,特征提取,纹理特征灰度共生矩阵两个有固定空间关系的像素的联合概率密度函数,空间关系,2018年9月24日,Multime
7、dia Search Engine,16,特征提取,纹理特征灰度共生矩阵超高的维数空间关系有很多个每个空间关系有一个二维直方图在这些二维直方图上作“二次统计”以降低维数角二阶矩（能量）、对比度（惯性矩）、相关、熵、逆差矩等与人类视觉对纹理的心理感知不同,2018年9月24日,Multimedia Search Engine,17,特征提取,纹理特征Tamura 纹理特征依据心理视觉特性定义的纹理特征计算准确率较差，信息量较少,稀疏度 对比度 方向性 线状性 规则性 粗糙度,2018年9月24日,Multimedia Search Engine,18,特征提取,纹理特征频率域的纹理特征纹理是“变
8、化趋势和模式”在某个频率上有突出的特征利用频率变换表示纹理特征小波纹理特征对图像作小波变换计算小波的一阶矩和二阶矩作为纹理特征,2018年9月24日,Multimedia Search Engine,19,特征提取,纹理特征频率域的纹理特征局部傅立叶变换纹理特征在局部邻域(3x3, 4x4, 5x5窗口)内作傅立叶变换，用傅立叶系数作为纹理特征Gabor变换频率空间中的局部区域特征,2018年9月24日,Multimedia Search Engine,20,特征提取,纹理特征频率域的纹理特征Gabor变换频率空间中取某个窗口内的系数来提取特征,2018年9月24日,Multimedia Se
9、arch Engine,21,特征提取,形状特征面积(A)、周长(P)、质心(O)长度(L)、宽度(W),2018年9月24日,22,特征提取,形状特征矩形度：面积和最小外接矩形面积的比值长宽比：L/W圆度：欧拉数拓扑特征难以精确提取,信息量小,2018年9月24日,Multimedia Search Engine,23,特征提取,形状特征轮廓的高维特征把轮廓坐标转换成一维复数序列一维复函数可以进行傅立叶变换，提取频率特征傅立叶描述子,2018年9月24日,Multimedia Search Engine,24,特征提取,多模特征(multi-modal feature)单一特征难以保留足够信
10、息仅能保留特征所针对的信息结合多个特征，以保留更多信息颜色、纹理、形状维数显著增加特征降维特征选取(Feature Selection),2018年9月24日,Multimedia Search Engine,25,特征降维,特征的各维可能是相关的例：直方图,Hn可以由前n-1维完全预测出,Hn不能告诉我们任何信息可预测则不携带信息,是否还有其它维可被预测？如何发现这些维？,2018年9月24日,Multimedia Search Engine,26,特征降维,主分量分析(PCA: Principle Component Analysis)在特征空间，如果特征维之间有相关性，则样本将分布在较低
11、维的(高维)(曲)面上,2018年9月24日,Multimedia Search Engine,27,特征降维,主分量分析线性变换,原始特征矢量：,主分量：,“轴”：,2018年9月24日,Multimedia Search Engine,28,特征降维,主分量分析,如何求极值：,约束条件：,2018年9月24日,Multimedia Search Engine,29,特征降维,主分量分析Lagrange乘数法,目标函数,约束条件,a1是S的最大特征值对应的特征矢量,2018年9月24日,Multimedia Search Engine,30,特征降维,主分量分析同理可证：所有主分量对应的“轴
12、”都是S的特征矢量，相应的特征值为其方差,A可通过KL变换从协方差矩阵S求,2018年9月24日,Multimedia Search Engine,31,特征降维,主分量分析如果H是线性相关的：S是降秩的特征矢量个数小于维数降维无信息损失如果H各维相关性大，但没有达到完全相关有很小的特征值对应的特征矢量可以去除降维，有信息损失,2018年9月24日,Multimedia Search Engine,32,特征降维,多模特征的降维同质特征可以方便地使用PCA同质特征内部是已经归一化的例：直方图，像素值，等等异质特征不能简单地进行PCA不同的归一化导致不同的主分量异质特征之间没有归一化例：颜色直方图和“粗糙度”如何归一化？,2018年9月24日,Multimedia Search Engine,33,特征降维,多模特征的降维分组降维，组间加权同质特征用PCA降维，组间自动计算权重,如何计算组间权重？,w1,w2,wk,须依据最终目的优化,
