1、Pattern Recognition &artificial IntelligenceLecture 4: 特征 选择 与 提取（三）11.引言2 类别可分离性判据3.特征提取4 特征选择2特征提取回顾 ： K-L变换 , PCA, SVD 数据 X： n行 p列，代表 p个样本，每个样本有 n个特征 KL变换和 PCA： 计算数据 X的 协方差矩阵 C=E(XTX)，找出协方差矩阵的特征向量和特征值，提取前 k (k huge computing resources- one dimension reduce 3特征提取回顾 ： K-L变换 , PCA, SVD SVD: 直接对数据样本
2、X进行变换，解决了 PCA计算量大的问题，能够同时对样本和特征进行降维。 可以用 SVD来实现 PCA。二者的具体关系如下：PCA: covariance matrix C can be decomposed with C = VLVTV: principle directions or principle axes (eigenvector of C) L: diagonal matrix with eigenvalues i in the decreasing order on the diagonalPrinciple components : Projections of the da
3、ta X on the principal axe VPC = XVThe j-th principal component is given by j-th column of PC4特征提取回顾 ： K-L变换 , PCA, SVD SVD: 直接对数据样本 X进行变换，解决了 PCA计算量大的问题，能够同时对样本和特征进行降维。 可以用 SVD来实现 PCA。二者的具体关系如下：SVD: Singular value decomposition of data X is: X = USVTS is the diagonal matrix of singular values si In
4、SVD, the covariance matrix of X can be write as: C= E(XTX) =E( VSUTUSVT) = E (VS2VT) = VE(S2) VT In PCA, the covariance matrix of X is: C = VLVT right singular vectors V are principal directions principle components XV = USVTV = US Sigular values are related with eigenvalues of covariance matrix via
5、i = E(si2)5特征 选择6特征选择的过程：A. 产生过程 ( Generation Procedure )：按一定的 搜索策略 产生候选特征子集。B. 评价函数 ( Evaluation Function ) ： 通过某个 评价函数 来评估特征子集的优劣。C. 停止准则 ( Stopping Criterion )：停止准则是与评价函数相关的，一般是一个阈值，当评价函数值达到这个阈值后就可停止搜索。D. 子集验证： 用来验证最终所选子集的有效性。7评价函数： Filter 和 wrapperFilter： 通过分析特征子集内部的信息来衡量特征子集的 好坏Wrapper： 评价函数是一个分类器，采用特定特征子集对样本集进行分类，根据分类的结果来衡量该特征子集的好坏 8 距离或可分性度量 ： 距离度量有时候也称作类别可分离判据、离散度准则 ,在统计模式识别中对类别的可分离性研究的比较深入。-欧几里得距离、马氏距离、巴氏距离等 相关性度量： 用来度量特征和类别之间的相关性。-相关系数 信息论度量：-信息增益、最小描述长度、互信息评价函数： Filter9评 价准 则 优 点 缺点filter 快速 执 行；易于推广； 准确率方面通常低于 Wrapper方法；wrapper 准确率高； 计 算代价大；不易于推广；评价函数：对比10
