特征提取（6.7.3 主成分分析）,一、特征提取的目的 通过对特征向量x进行线性变换，获得新的特征向量y，从而达到以下目的：（1）降低特征向量的维数；（2）提取有利于分类的新的特征。,二、正交变换 通过正交矩阵对特征向量x进行变换： x为N维特征向量： y为N维特征向量： A为正交阵：,三、KARHUNEN-LOEVE变换（目的是降维）K-L变换的形式：A的构成：由 的特征向量构成。其中：特征向量互相正交，特征向量 对应的特征值为 ，且 。y的自向关矩阵：,问题：如果为了降维，只允许保留向量y的m个分量（即m个特征），应保留那些分量？利用K-L变换进行降维：对于N维特征向量 ， 取其中的前m个特征，构成新的特征向量z，则在给定特征数量m的前提下，z可最大限度地保留原特征向量x包含的信息：,由于 ，选取y中的前m个特征，可以最大限度地保留原特征向量x中包含的信息。问题：考虑两类分类问题，给定两类样本的样本集D，应如何采用K-L变换进行降维？K-L变换也称为：Principal Component Analysis.,四、DFT变换（目的是提取新的特征） 其中， 为时域离散序列。,
