1、基于 EKF 的模糊神经网络快速自组织学习算法研究摘 要:为了快速地构造一个有效的模糊神经网络,提出一种基于扩展卡尔曼滤波(EKF)的模糊神经网络自组织学习算法。在本算法中,按照提出的无须经过修剪过程的生长准则增加规则,加速了网络在线学习过程;使用 EKF 算法更新网络的自由参数,增强了网络的鲁棒性。仿真结果表明,该算法能够快速学习、良好的逼近精度和泛化能力。 关键词:模糊神经网络;扩展卡尔曼滤波;自组织学习 Fast self-organizing learning algorithm based on EKF for fuzzy neural network ZHOU Shang-bo,L
2、IU Yu-jiong (College of Computer Science, Chongqing University, Chongqing 400044, China) Abstract:To construct an effective fuzzy neural network, this paper presented a self-organizing learning algorithm based on extended Kalman filter for fuzzy neural network. In the algorithm, the network grew rul
3、es according to the proposed growing criteria without pruning, speeding up the online learning process.All the free parameters were updated by the extended Kalman filter approach and the robustness of the network was obviously enhanced. The simulation results show that the proposed algorithm can ach
4、ieve fast learning speed, high approximation precision and generation capability. Key words:fuzzy neural network; extended Kalman filter(EKF); self-organizing learning 模糊神经网络起源于 20 世纪 80 年代后期的日本,由于其简单、实用,已经被广泛应用在工业控制、系统辨识、模式识别、数据挖掘等许多领域14。然而,如何从可用的数据集和专家知识中获取合适的规则数仍然是一个尚未解决的问题。为了获取模糊规则,研究人员提出了不同的算法,
5、如文献5利用正交最小二乘算法确定径向基函数的中心,但是该算法训练速度比较慢;文献6提出了基于径向基函数的自适应模糊系统,其算法使用了分层自组织学习策略,但是逼近精度低。扩展卡尔曼滤波(EKF)算法作为一种非线性更新算法,在神经网络中得到了广泛应用。文献7利用扩展卡尔曼滤波算法调整多层感知器的权值,文献8利用扩展卡尔曼滤波算法调整径向基函数网络的权值。 本文提出了一种模糊神经网络的快速自组织学习算法(SFNN)。该算法基于无须修剪过程的生长准则增加模糊规则,加速了网络学习过程,同时使用 EKF 调整网络的参数。在该算法中,模糊神经网络结构不是预先设定的,而是在学习过程中动态变化的,即在学习开始前
6、没有一条模糊规则,在学习过程中逐渐增加模糊规则。与传统的模糊神经网络学习算法相比,本算法所得到的模糊规则数并不会随着输入变量的增加而呈指数增长,特别是本算法无须领域的专家知识就可以实现对系统的自动建模及抽取模糊规则。当然,如果设计者是领域专家,其知识也可以直接用于系统设计。本算法所得到的模糊神经网络具有结构小、避免出现过拟合现象等特点。1 SFNN 的结构 本文采用与文献9相似的网络结构,如图 1 所示。其中,r 是输入变量个数;?x?i(i=1,2,r)是输入语言变量;y 是系统的输出;MFij 是第 i个输入变量的第 j 个隶属函数;R?j 表示第 j 条模糊规则;w?j 是第 j 条规则
7、的结果参数;u 是系统总的规则数。 下面是对该网络各层含义的详细描述。 第一层:输入层。每个节点代表一个输入语言变量。 第二层:隶属函数层。每个节点代表一个隶属函数,隶属函数采用如下的高斯函数: ij=exp(-(x?i-cij)?2?2ij);i=1,2,r; j=1,2,u(1) 其中:r 是输入变量数;u 是隶属函数个数,也代表系统的总规则数;ij 是 x?i 的第 j 个高斯隶属函数;cij 是 x?i 的第 j 个高斯隶属函数的中心;ij 是 x?i 的第 j 个高斯隶属函数的宽度。 第三层:T-范数层。每个节点代表一个可能的模糊规则的 IF-部分,也代表一个 RBF 单元,该层节点
8、个数反映了模糊规则数。如果计算每个规则触发权的 T-范数算子是乘法,则在第三层中第 j 条规则 R?j 的输出为 ?j=exp(-?ri=1(x?i-cij)?2?2ij);j=1,2,u(2) 第四层:输出层。该层每个节点代表一个输出变量,该输出是所有输入变量的叠加。 y(X)=?uj=1w?j?j(3) 其中:y 是网络的输出;w?j 是 Then-部分。 2 SFNN 的学习算法 如前文所述,第三层的每个节点代表一个可能的模糊规则的 IF-部分或者一个 RBF 单元。如果需要辨识系统的模糊规则数,则不能预先选择模糊神经网络的结构。于是,本文提出一种新的学习算法,该算法可以自动确定系统的模
9、糊规则并能达到系统的特定性能。 2.1 模糊规则的产生准则 在模糊神经网络中,如果模糊规则数太多,不仅增加系统的复杂性,而且增加计算负担和降低网络的泛化能力;如果规则数太少,系统将不能完全包含输入/输出状态空间,将降低网络的性能。是否加入新的模糊规则取决于系统误差、可容纳边界和误差下降率三个重要因素。 2.1.1 系统误差 误差判据:对于第 i 个观测数据(x?i,t?i),其中 x?i 是输入向量,t?i是期望输出,由式(3)计算网络现有结构的全部输出 y?i。 定义:e?i=t?i-y?i;i=1,2,n(4) 如果e?ik?e k?e=maxemax?i,emin(5) 则说明网络现有结
10、构的性能比较差,要考虑增加一条新的规则;否则,不生成新规则。其中:k?e 是根据网络期望的精度预先选择的值;emax 是预定义的最大误差;emin 是期望的输出精度;(01)是收敛因子。 2.1.2 可容纳边界 从某种意义上来讲,模糊神经网络结构的学习是对输入空间的高效划分。模糊神经网络的性能和结构与输入隶属函数紧密相关。本文使用的是高斯隶属函数,高斯函数输出随着与中心距离的增加而单调递减。当输入变量采用高斯隶属函数时,则认为整个输入空间由一系列高斯隶属函数所划分。如果某个新样本位于某个已存在的高斯隶属函数覆盖范围内,则该新样本可以用已存在的高斯隶属函数表示,不需要网络生成新的高斯单元。可容纳
11、边界:对于第 i 个观测数据(x?i,t?i),计算第 i 个输入值x?i 与已有 RBF 单元的中心 c?j 之间的距离 d?i(j),即 d?i(j)=x?i-c?j;i=1,2,n; j=1,2,u(6) 其中:u 是现有的模糊规则或 RBF 单元的数量。令 di,min=arg min(d?i(j)(7) 如果 di,mink?d,k?d=maxdmax?i,dmin(8) 则说明已存在的输入隶属函数不能有效地划分输入空间。因此,需要增加一条新的模糊规则,否则,观测数据可以由已存在的距离它最近的 RBF单元表示。其中:k?d 是可容纳边界的有效半径;dmax 是输入空间的最大长度;dm
12、in 是所关心的最小长度;(01)是衰减因子。2.1.3 误差下降率 传统的学习算法把误差减少率(ERR)5用于网络生长后的修剪过程,算法会因为修剪过程而增加计算负担,降低学习速度。本文把误差减少率用于生长过程形成一种新的生长准则,算法无须经过修剪过程,从而加速网络的学习过程。 给定 n 个输入/输出数据对(x?i,t?i),t=1,2,n,把式(3)看做线性回归模型的一种特殊情况,该线性回归模型为 t(i)=?uj=1h?j(i)?j+(i)(9) 式(9)可简写为 D=H+E(10) D=T?TR?n 是期望输出,H=?TR?nu 是回归量,=?W?TR?u是权值向量,并且假设 ER?n
13、是与回归量不相关的误差向量。 对于矩阵 ,如果它的行数大于列数,通过 QR 分解: H=PQ(11) 可把 H 变换成一组正交基向量集 P=p?1,p?2,p?uR?nu,其维数与 H 的维数相同,各列向量构成正交基,QR?uu 是一个上三角矩阵。通过这一变换,有可能从每一基向量计算每一个分量对期望输出能量的贡献。把式(11)代入式(10)?可得 D=PQ+E=PG+E(12) G 的线性最小二乘解为 G=(P?TP)?-1P?TD,或 g?k=p?T?kDp?T?kp?k;k=1,2,u(13) Q 和 满足下面的方程: Q=G(14) 当 kl 时,p?k 和 p?l 正交,D 的平方和由
14、式(15)给出: D?TD=?uk=1g?2?kp?T?kp?k+E?TE(15) 去掉均值后,D 的方差由式(16)给出: n?-1D?TD=n?-1?uk=1g?2?kp?T?kp?k+n?-1E?TE(16) 由式(16)可以看到,n?-1?uk=1g?2?kp?T?kp?k 是由回归量 p?k 所造成的期望输出方差的一部分。因此,p?k 的误差下降率可以定义如下: err?k=g?2?kp?T?kp?kD?TD,1ku(17) 把式(13)代入式(17)可得 err?k=(p?T?kD)?2p?T?kp?kD?TD,1ku(18) 式(18)为寻找重要回归量子集提供了一种简单而有效的方
15、法,其意义在于 err?k 揭示了 p?k 和 D 的相似性。err?k 值越大,表示 p?k 和 D 的相似度越大,且 p?k 对于输出影响越显著。利用 ERR 定义泛化因子(GF),GF可以检验算法的泛化能力,并进一步简化和加速学习过程。定义: GF=?uk=1err?k(19) 如果 GF 2.2 参数调整 需要注意的是,不管是新生成的隐节点还是已存在的隐节点,都需要对网络参数进行调整。传统的方法是使用 LLS10方法对网络参数进行调整,本文提出使用 EKF 方法调节网络的参数。由于 LLS 方法在确定最优参数时计算简单、速度快,但该方法对噪声敏感,其学习速度随着信噪比的增加而下降。另外
16、,与 LLS 方法相关的问题是其求解可能是病态的,这使得参数估计变得很困难。EKF 方法由于其自适应过程比较复杂,计算速度没有 LLS 方法快,但是 EKF 方法在噪声环境下具有鲁棒性,使用 EKF 方法可以实现一种健壮的在线学习算法。网络参数可以用下面的 EKF11方法进行调整。事实上,网络的参数向量 可以看做一个非线性系统的状态,并用下面的方程描述: ?i=i-1 t?i=h(i-1,X?i)+e?i(20) 在当前的估计值 i-1 处将非线性函数 h(i-1,X?i)展开,则状态模型可以重写为 ?i=i-1 t?i=H?ii-1+?i+e?i(21) 其中:?i=h(i-1 ,X?i)-
17、H?ii-1+?i。H?i 是如下的梯度向量: H?i=?h(,X?i)?|=i-1 (22) 参数向量 使用下面的扩展卡尔曼滤波算法更新: K?i=Pi-1H?T?iH?iPi-1H?T?i+R?i?-1 ?i=i-1+K?i(t?i-h(i-1,X?i) P?i=Pi-1-K?iH?iPi-1+Q?i(23) 其中:K?i 是卡尔曼增益矩阵;P?i 是逼近误差方差阵;R?i 是量测噪声方差阵;Q?i 是过程噪声方差阵。 全局扩展卡尔曼滤波算法会涉及大型矩阵运算,增加计算负担,因此可以将全局问题划分为一系列子问题从而简化全局方法。网络的前件部分具有非线性特性,利用扩展卡尔曼滤波算法对其进行调整;网络的后件部分具有线性特性,利用卡尔曼滤波算法对其进行调整,该方法等同于将全局方法简化为一系列解耦方法,可以降低计算负担。由于高斯函数的中心对系统的性能影响不明显,为了简化计算,只对高斯隶属函数的宽度进行调整。 前件参数使用如下的扩展卡尔曼滤波算法更新:
