加权MMC函数与广义FLD准则函数的最优鉴别向量集.doc

1、1加权 MMC 函数与广义 FLD 准则函数的最优鉴别向量集1引言 在模式识别问题中，Fisher线性鉴别(FLD)准则与最大间距准则 (MMC)是两种有效的模式特征提取方法，它们都是希望寻找最佳的投影方向对原始数据进行投影，使投影后所得数据的类间离散度达到最大而类内离散度达到最小，投影后所得数据就是所需的模式特征。MMC最早由常用如下的加权 MMC函数来表示( )：0(1)(TMbwJWtrSWFLD准则常用如下的广义FLD准则函数来表示：(2)()bFTwtr最大化函数 或 可得由多个投影向量组成的投影矩阵 ，()MJ 12(,)kw投影向量 也称为鉴别向量，在实际应用中一般总是将鉴别向量

2、单位化，即 (iw Ti)，单位化向量集合 常称为鉴别向量集 4。最大化 的1,2ik 12,k MJW方法是特征值分解或广义特征分解，最大化 的方法是迭代法。Guo、Yan 和Wang 都()FJW曾给出最大化 的迭代算法，但Wang的算法是最佳的。(FJW目前人们使用的鉴别向量集 主要有两种：一是鉴别向量之间满足正交12,kw性，即 ( )，称之为正交鉴别(OD)向量集；另一种是鉴别向量之间满足0Tijwij( )，它能使投影后所得数据之间具有统计不相关性，因此称之不相关鉴别itjS(UD)向量集，其中 是样本总体协方差阵。实际上，OD向量集是准则函数在正tbwS交条件下的最优解，UD向量

3、集是准则函数在不相关性条件下的最优解。这说明，在最大化准则函数时需附加一定的条件，更为一般的附加条件为( ) (3)0TijGij其中 为正定阵。显然OD向量集与UD向量集分别是 和 的两种特例。GItGS对某个准则函数来说，不同的 可得到不同的鉴别向量集，因此一个准则函数可有无穷多种鉴别向量集。现在的问题是，在这无穷多种鉴别向量集中，哪种鉴别向量集能使准则函数值达到最大？能使准则函数值达到最大的鉴别向量集称为该准则函数的最优鉴别向量，本文将主要讨论上述两种准则函数的最优鉴别向量集。当小样本问题出现时，对于准则函数 ，Yang 9从理论上证明()/TbwJS了用PCA 方法将原始高维样本降到

4、维时不会有鉴别信息的损失（ 为训练样本量） 。1NN不难证明，这个结论也同样适于准则函数 或 。实际上，由于噪声的存在，MW()F并非降到 维最好，因此为使讨论更具一般性，以下假定 满秩，1N t， , ，其中 是样本类别数。()tcrankS()brankcSwrankcS由于UD向量集中鉴别向量集最多只有 个，所以以下也假定 。11k2 加权MMC函数的最优鉴别向量集2准则函数 满足条件(3)的鉴别向量集 是 相对于()MJW 12,kw ()bwS的前 个最大广义特征值所对应的单位广义特征向量，特别地，准则函数 的Gk (MJWOD 向量集是矩阵 的前 个最大特征值所对应的单位正交特征向

5、量。bwSk先给出几个引理：引理1 设 为两个 阶对称矩阵， ， ， 是 相对于 的广义特征,ABn0ABVAB值所对应的单位广义特征向量矩阵，广义特征值从大到小排列，则， (4)1TV2T其中 为对角阵。12,引理 2 设 为 阶对称矩阵， 为其前 个最大特征值所对应的单位正交特征向量nUk矩阵，则对于任意 列正交矩阵 ，有k(5)TT()max()VtrAtrA引理3 设 为 阶正定阵， ，则()ijAa1ij（ ） (6)ii,2n定理1 准则函数 的最优鉴别向量集是其OD向量集。即()MJW(7)00ax()ax()T Tij ijMGwwJW证明：设， (8)0rgm()TijoMJ

6、 0rgmax()TijwG则 是 相对于 的前 个最大广义特征值所对应的单位广义特征向量矩阵，GW()bwSk是矩阵 的前 个最大特征值所对应的单位正交特征向量矩阵。o设 是 相对于 的所有广义特征值所对应的单位广义特征向量矩阵，特G征值从大到小排列，则 的前 列就是 ，由引理1，GW, (9)()TbwS 1()TbwGSW其中对角阵 ， 。需注意的是，对角元12(,n 12()k并非是 相对于 的广义特征值。对 实施QR分解，即 ，其中12,n ABGQR是列正交矩阵， 是上三角阵。对 进行分块，则QRR， (10)1201120R其中 为 阶方阵。由于 的各个列都是单位向量，所以 的对

7、角元全1kGW TTGW为1，从而 的对角元也全为1。于是，由式(9)和引理 2、引理3可得T 10max()()()ij TMobwooGowJtrStr 11T1( TQRQR 10() ()00TIIItrtr11()Tt t3#1 0()()max()TijTGbwGMwtrtWSJW这说明准则函数 的 OD 向量集能使 达到最大，因而在理论上 OD 向MJ (MJ量集是加权 MMC 的最佳选择。当然，参数 不同，所得的最优鉴别向量集也不同。3 广义 FLD 准则函数的最优鉴别向量集Guo、Yan和Wang都曾揭示过广义FLD准则函数 与加权MMC函数 之()FJ()MJ间的关系，这个

8、关系可用下面的引理来描述： 引理5 设 ， ，则*0()argmxTijTbwGwtWS *()TbwtrSW(11)*0aTij btr证明：采用反证法。假设存在 ，在条件(3)下，使得(12)*()()T TTbwbwtrStSS由 的含义知，式(12)的右边等于0。于是有*W(13)*()TbwtrWS这与 是 ( )和 的条件下 的最大值矛盾。*TijwGij1i()FJ由于 与 对正交矩阵具有不变性，因此引理5是在相差一个正交矩阵的()FJM情况下成立的。引理5说明在条件(3)下最大化 可转化为最大化 ，而加权系*()MJW数 又取决于 的最大函数值，由此可得迭代算法。表1给出了求取

9、 在条件(3) 下* F的鉴别向量集的迭代算法，它是Wang的迭代算法在一般情况下的推广。表1 最大化 的迭代算法()FJW由 与 的关系，不难得到()FJW()M定理2 准则函数 的最优鉴别向量集是其OD向量集。FJ因此对于广义FLD准则函数，我们只需讨论OD向量集。需指出的是，当 时， 的 个OD 向量全在 的零空()1trankSN()FJWk(1)cwS间 中，此时 ，计算机无法操作。此时，应用Liu的结论4， 的 个OD1(0)wS*()FJWk向量就是准则函数 ( )的 OD向量。)TbbJ10wS4 加权 MMC 函数与广义 FLD 准则函数的 UD 向量集任取正数 ，令 ；(0

10、)迭代次数 ,2tT1 = ；()W(1)0maxij tbwwGtrS2 ；()()()ttnTw3 若 ( 是给定很小的正数 )，中止；否则，转到(1)()tt1；于是， 。*()T4虽然 与 的OD向量集是它们的最优鉴别向量集，但它们的UD 向量集具()MJW()F有明显的统计意义，因而在实际问题中被广泛使用。由 与 的关系知，只需()FJW()M讨论 即可。如前所述， 的UD向量集 是 相对于 的前 个最()12,uukw bwStSk大广义特征值所对应的单位广义特征向量，即， (14)uubiitSS,i由于 ，所以式(14)等价于tbwS， (15)1uuibiti1,2k实际上，

11、式(15)中的广义特征向量 与加权系数 无关。这说明加权 MMC函数的UD 向量i集是同一个向量集，它们是 相对于 的前 个最大广义特征值所对应的单位广义特征向bStk量。需注意的是，当 奇异时， 相对于 的前 个最大广义特征值所对应的单位广义wtS特征向量并非是 的真正意义上的UD向量集。这是因为在 的零空间 中，()MJW wS1(0)w相对于 的广义特征值都相等，因而 中的任一单位向量都是广义特征向量。这bSt 1(0)w时采用文献的方法，先在零空间 中求取准则函数 的UD 向量集，1()TbbJWtr然后再在 的补集合 求取余下的UD 向量集。由于准则函数1(0)w(0)wSx在 中的

12、UD向量集就是它的OD向量集，因而 中的UD向量集可由Guo(bJ 10wS的算法求得。总而言之，我们可以得如下结论：定理3 加权MMC函数与广义FLD准则函数的UD向量集是同一个向量集，与权系数无关。当 非奇异时，它们就是 相对于 的前 个最大广义特征值所对应的单位广义特wSbStk征向量；当 奇异时，它们可由表2的处算法求取。表2 奇异时求取UD向量集的算法w特别地，当 时， ，因而 中的UD 向量集就是全部UD()1trankSNdc1(0)wS向量集。4 实验1对 作特征值分解，令 是零特征值对应的特征向量矩阵；wZ2对矩阵 作特征值分解， 是特征向量( )，TbZS12,dv 1dim(0wS则 就是 中的UD向量集；12,dvv (0)w3作 相对于 的广义特征值分解，则第 至第 最大广义特征对应的单t k位广义特征向量就是余下的UD向量集