1、 各种优化算法求解函数优化问题1.遗传算法的简单介绍及流程1.1 遗传算法的基本原理 遗传算法( Genetic Algorithm ,简称 GA) 是近年来迅速发展起来的一种全新的随机搜索优化算法。与传统搜索算法不同,遗传算法从一组随机产生的初始解(称为群体) 开始搜索。群体中的每个个体是问题的一个解,称为染色体。这些染色体在后续迭代中不断进化,称为遗传。遗传算法主要通过交叉、变异、选择运算实现。交叉或变异运算生成下一代染色体,称为后代。染色体的好坏用适应度来衡量。根据适应度的大小从上一代和后代中选择一定数量的个体,作为下一代群体,再继续进化,这样经过若干代之后,算法收敛于最好的染色体,它很
2、可能就是问题的最优解或次优解。遗传算法中使用适应度这个概念来度量群体中的各个个体在优化计算中有可能达到最优解的优良程度。度量个体适应度的函数称为适应度函数。适应度函数的定义一般与具体求解问题有关。1.2 遗传算法的流程第一步：确定决策变量及各种约束条件，即确定出个体的表现型X和问题的解空间；第二步：确定出目标函数的类型，即求目标函数的最大值还是最小值，以及其数学描述形式或量化方法，建立其优化模型；第三步：确定表示可行解的染色体编码方法，即确定出个体的基因型X和遗传算法的搜索空间。第四步：确定解码方法，即确定出个体的基因型X和个体的表现型X的对应关系或转换方法；第五步：确定个体时候适应度的量化评
3、价方法，即确定出由目标函数f(X)值到个体适应度F(X)的转换规则；第六步：设计遗传算子，即确定出选择运算、交叉运算、变异运算等遗传算子的具体操作方法；第七步：确定出遗传算法的运行参数，即确定出遗传算法的M、T、Pc、Pm等参数。1.3 遗传算法求解函数优化问题中的参数分析目前，函数优化是遗传算法的经典应用领域，也是对遗传算法进行性能评价的常用范例。对于函数优化中求解实数型变量的问题，一般采用动态编码和实数编码的方法来提高其搜索效率，所以是求解各类函数优化问题比较适合的算法。1.3.1编码方案在用遗传算法求解函数优化问题时，把解空间中的数据点都映射到遗传中对应的基因型数据，采用二进制编码，在给
4、定函数的变量上下界和编码精度内，求得单个变量的编码长度 ，然后随机生成一些固定长度为 的二进制数作为作为初始种群。1.3.2适应度函数先用解码函数将二进制代码转换为解空间中的数据，把数据带入测试函数中，得到种群中每个个体的适应值，然后以种群中函数值取得最大值的个体的函数值与每个个体的函数值之差，再与最大函数值的n倍(假设种群粒子数为n)和种群中所有个体的函数值之和的比值，得到每个个体的适应度。如果求函数最小值问题，则适应度值越大其函数值越小。1.3.3选择算子遗传算法最常用的选择策略就是正比选择策略，即每个个体被选中进行遗传运算的概率为该个体的适应值和群体中所有个体适应值总和的比例。对于个体i
5、，其适应度值为F i，种群规模为NP ，则该个体的选择概率可以表示为NPiiiiF1得到选择概率后，采用旋轮法来实现选择操作，令PP0=0ijjiP1共转轮 NP 次，每次转轮时，随机产生 ，当 PPi,则选择个体)1,0(Uk kiP1i。适应度越高的个体的选择概率越大，越容易被选择参与交叉变异运算。1.3.4交叉算子在遗传算法中，最常用的交叉策略就是单点交叉和双切点交叉。在这个算法中，先从种群中随机选择两个要进行交叉的个体，然后随机生成一个数据点，对两个父串中对应位的数值进行交换，得到两个字串。1.3.5变异算子变异是在种群中按照变异概率P m任选若干基因位改变其位值，对于0-1编码来说，
6、就是反转位值。在这个算法中，先在父串中随机生成一个数，如果这个数对应的位值为0，则将它变为1；如果这个数上的位值为1，则将它变为0.1.4遗传算法求解函数优化问题流程Step 1：初始化选择、交叉、变异概率，设置初始代数和最大迭代次数，随机生成若干个初始个体构成初始种群；Step 2：利用解码函数将初始种群的二进制编码转化为解空间中便于计算的数据，然后用测试函数以及适应度函数求得每个个体的适应度。Step 3：采用轮盘赌选择种群中的个体进行遗传运算；Step 4：对种群中的个体进行交叉，变异运算，产生下一代新的种群。Step 5：如果当前的迭代次数达到设置的最大迭代次数，则算法停止，进行Ste
7、p 6；若未达到最大迭代次数，则转入Step 2.Step 6：保存种群中每一代的选择函数值最小个体作为最优个体，并保存其对应的函数值。1.5测试函数运行结果及算法参数对结果影响分析1.5.1各种函数测试结果（1）Quadric函数状种群动态变化图(-100,100)第1代种群动态变化图 第50代种群动态变化图第100代种群动态变化图 第200代种群动态变化图（2）Tablet函数测试种群变化图 (-100,100)第1代种群动态变化图 第50代种群动态变化图第100代种群动态变化图 第200代种群动态变化图（3）Rosenbrock测试函数的种群动态变化图第1代种群动态变化图 第50代种群动
8、态变化图第100代种群动态变化图 第200代种群动态变化图(4) Griewank函数种群动态变化图第1代种群动态变化图 第50代种群动态变化图第100代种群动态变化图 第200代种群动态变化图名称 最优值 最差值 目标平均值Tablet 2.2737e-009 0.2951 0.0015Quadric 3.7719e-005 29.7138 1.7039Rosenbrock 1.7771e-007 3.8917 0.4625Griewank 0.0235 1.6926 0.0281Rastrigin 3.0273e-006 2.1965 0.0487Schaffers 2.0231e-010
9、 1.0e-003* 0.9379 0.1470从上面的实验结果中，我们可以发现遗传算法在求解函数优化问题时，对于大部分测试函数，搜索速度都比较快，能很快收敛到最优解上，获得的最优解也比较好，因此是一种比较有效的优化算法。2.粒子群算法求解函数优化问题2.1粒子群算法介绍粒子群算法是一种基于迭代的优化方法。进行优化时，粒子在一个 n 维空间中搜索，每个粒子的位置对应于问题的一个解，粒子通过不断调整自己的位置来搜索新解。每个粒子根据自己的飞行经验和其他粒子的飞行经验来调整自己的飞行。每个粒子在飞行过程所经历的最好位置，就是粒子本身找到的最优解，称为个体极值（P best）;整个种群所经历过的最好
10、位置，就是整个群体目前找到的最优解，称为全局极值（g best） 。每个粒子都通过上述两个极值不断更新自己，从而产生新一代群体。设粒子的群体规模为 N，粒子当前的位置表示为 ，),.,(21 kNnkki xxX和 Un 分别表示第 n 维空间的上下边界；当前速度表示为 nnknlulx,1,被钳位在最大值 和最小值kiNki VvV).( ),.,.(max,ax1maxa kNknkk vvV之间，粒子的速度和位置更新方程如式（1）和式（2）所示：,min,i1minik（1）)()(211 kigkiikiki XPrcXPrcV（2）iiiX其中， 分别表示粒子第 k 次迭代的个体极值
11、点位置和全局极值点位置。c1,c2kgi,为常数，称为学习因子，用来调节向 Pi 和 Pg 方向飞行的最大步长；r1,r2 是（0，1）上均匀分布的随机数；式（1）中第一部分是粒子上一步的速度，表明粒子目前的状态；第二部分是粒子对本身的思考，是认知部分，粒子通过对本身位置的思考来调整自己下一步的速度和位置，这样可以是粒子有足够强的全局搜索能力，避免陷入局部最小；第三部分表示粒子通过与其他粒子之间进行信息交流来更新自己的下一步。2.2基本粒子群算法流程（1）在初始化范围内，对粒子群进行随机初始化，包括随机位置和速度。（2）计算每个粒子的适应值。（3）对于每个粒子，将其适应值与所经历过的最好位置的
12、适应值进行比较，如果更好则将其作为粒子的个体历史最优值，用当前位置更新个体历史最好位置（4）对每个粒子，将其历史最优适应值与群体内或邻域内所经历的最好位置的适应值进行比较，若更好，则将其作为当前的全局最好位置。（5）根据上面公式（1）和（2）更新粒子的速度和位置。（6）若未达到终止条件，则进行步骤（2）。一般将终止条件设定为一个足够好的适应值或达到一个预设的最大迭代次数。2.3粒子群算法求解函数优化问题的参数分析2.3.1编码方法在用粒子群求解函数优化问题时，采用实数编码来表示解空间内的粒子的位置，开始时随机初始化n个二维解空间内的数据点，这些数据点对应了每个粒子的位置。粒子的速度也是随机产生
13、的，与粒子的位置的维数相同。2.3.2适应度函数这里用测试函数作为目标函数来对算法进行评价，把每个粒子的位置带入测试函数，得到每个粒子的适应值，然后分别与粒子的个体极值以及种群中所有粒子的全局极值进行比较，如果比当前的个体极值好，就更新这个个体的个体极值的位置pbestpop以及对应的个体极值pbestfit，如果比上一代得到的全局极值好，则更新当代的全局极值的位置gbestpop以及对应的全局极值gbestfit。2.4标准粒子群算法的几种改进方法惯性权重法：惯性权重 w 是与前一次速度有关的一个比例因子，其速度更新方程为：)()(*211 kigkiikiki XPrcXPrcV用惯性权重
14、来控制前面的速度对当前速度的影响，较大的 w 可以加强 PSO 的全局搜索能力，而较小的 w 能加强局部搜索能力。基本的 PSO 可以看作 w=1，因此在迭代后期缺少局部搜索能力。通常取 w 为0.8,1.2 之间的数。2.5粒子群算法测试函数结果2.5.1利用标准PSO算法对测试函数结果根据粒子群求解函数优化算法的流程，编写程序pso.m文件，然后用函数来测试算法的好坏优劣。下表中列出了常用的几个测试函数：对上表中几个测试函数用标准粒子群算法求最优值，设定群体规模为 50，最大速度Vmax=0.5，迭代次数 N=200，学习因子 c1=c2=2，画出种群的动态变化图。（1）Quadric函数
15、状态变化图(-100,100)第1代种群变化图 第50代种群变化图第100代种群变化图 第200代种群变化图（2）Rastrigin的测试函数(-5.12,5.12)第49代种群动态变化图 第99代种群动态变化图第200代种群动态变化图（3）Tablet函数(-100,100)第49代种群动态变化图 第99代种群动态变化图第200代种群动态变化图从以上三个函数的种群动态变化图可以看出，粒子在200代的时候已经将近收敛于一个点了。（4）标准PSO算法测试函数得到的结果名称 最优值 最差值 目标平均值Tablet 6.9977e-010 0.0935 5.8828e-004Quadric 9.77
16、19e-010 0.5134 0.0090Rosenbrock 1.1286e-008 2.0589e-007 0.0024Griewank 9.0223e-008 3.8537e-007 0.0051Rastrigin 2.0283e-008 0.0874 0.0026Schaffers 5.6037e-009 8.4428e-006 8.8449e-0072.4.2用改进的粒子群算法测试函数运行结果（1）用带惯性权重的粒子群来求解函数的最小值， 的值是随机生成的(0,1)之间的数。下表就是测试结果：名称 最优值 最差值 目标平均值Tablet 2.9455e-010 0.0266 6.6766e-004Quadric 1.5761e-009 1.2119 0.0117Rosenbrock 1.4386-012 0.02568 0.02641Griewank 1.9839e-009 4.2095e-004 3.4790e-004Rastrigin 3.0255e-006 0.5047 0.0044Schaffers 2.3281e-007 1.1189e-006 4.1312e-005(2)用带收缩因子的改进粒子群算法测试函数，收缩因子 取(0,1) 之间的随机数。测试结
