第九章遗传算法.ppt

1、第九章 遗传算法,第三篇 进化计算,ISDA2006,Whole name: International Conference on Intelligent System Design and ApplicationsThere are many famous experts: James Kennedy (An additional lecture on Friday)Edward TsengXinhe XuKhalid SaeedFuchun Sunet al.Gary G Yen: (A Special talk on EA on Monday),CCML2006,China Confe

2、rence on Machine Learning: HainanExperts:Shoujue WangLibo WangShifu ChenZhihua ZhouJiali FengSongchan ChenEt al,Two Special Talks Here,James Kennedy: Swarm IntelligenceGary G Yen: Evolutionary Multiobjective OptimizationAll in EnglishNotes: Learn live English, not just for a certificateLearn how to

3、solve problems, not just knowledge of techniques in exercises,第九章 遗传算法,遗传算法（Genetic Algorithm，GA）是一类以Darwin自然进化论和Mendel 遗传变异理论为基础的求解复杂全局优化问题的仿生型算法，它是由美国J.H.Holland教授首次提出的。 9.1 生物进化与遗传算法的发展 9.2 传统遗传算法 9.3 遗传算法的特点与研究课题,9.1 遗传算法的发展,1遗传算法是在本世纪六七十年代由美国Michigan大学的J.H.Holland 教授及其学生和同事发展起来的。1967年，他的学生J.D.B

4、agley在博士论文中首次提出“遗传算法（Genetic Algorithms）”一词。此后，Holland指导学生完成了多篇有关遗传算法研究的论文。1971年，R.B.Hollstien在他的博士论文中首次把遗传算法用于函数优化。,21975年是遗传算法研究历史上十分重要的一年。这一年Holland出版了他的著名专著自然系统和人工系统的自适应（Adaptation in Natural and Artificial Systems），这是第一本系统论述遗传算法的专著，因此有人把1975年作为遗传算法的诞生年。Holland在该书中系统地阐述了遗传算法的基本理论和方法，并提出了对遗传算法的理论

5、研究和发展极其重要的模式理论（schema theory）。该理论首次确认了结构重组遗传操作对于获得隐并行性的重要性。,3同年，K.A.De Jong完成了他的博士论文一类遗传自适应系统的行为分析（An Analysis of the Behavior of a Class of Genetic Adaptive System）。该论文所做的研究工作，可看作是遗传算法发展进程中的一个里程碑，这是因为，他把Holland的模式理论与他的计算实验结合起来。尽管De Jong和Hollstien 一样主要侧重于函数优化的应用研究，但他将选择、交叉和变异操作进一步完善和系统化，同时又提出了诸如代沟（g

6、eneration gap）等新的遗传操作技术。可以认为，De Jong的研究工作为遗传算法及其应用打下了坚实的基础，他所得出的许多结论，迄今仍具有普遍的指导意义。,4进入八十年代，遗传算法迎来了兴盛发展时期，无论是理论研究还是应用研究都成了十分热门的课题。1985年，在美国召开了第一届遗传算法国际会议（International Conference on Genetic Algorithms ，ICGA），并且成立国际遗传算法学会（International Society of Genetic Algorithms ，ISGA），以后每两年举行一次。 51989年，Holland的学生D

7、.E.Goldberg出版了专著搜索、优化和机器学习中的遗传算法（Genetic Algorithms in Search , Optimization, and Machine Learning）。该书总结了遗传算法研究的主要成果，对遗传算法及其应用作了全面而系统的论述。,6在欧洲，从1990年开始每隔一年举办一次Parallel Problem Solving from Nature 学术会议，其中遗传算法是会议主要内容之一。此外，以遗传算法的理论基础为中心的学术会议还有Foundations of Genetic Algorithms，该会也是从1990年开始隔年召开一次。这些国际会议论

8、文，集中反映了遗传算法近些年来的最新发展和动向。 71991年，L.Davis编辑出版了遗传算法手册（Handbook of Genetic Algorithms），其中包括了遗传算法在工程技术和社会生活中的大量应用实例。,8有关遗传算法的学术论文也不断在Artificial Intelligence、Machine Learning、Information science、Parallel Computing、Genetic Programming and Evoluable MachinesIEEE Transactions on Neural Networks,IEEE Transact

9、ions on Signal Processing等杂志上发表。1993年，MIT出版社创刊了新杂志Evolutionary Computation。1997年，IEEE又创刊了Transactions on Evolutionary Computation。Advanced Computational Intelligence杂志即将发刊，由模糊集合创始人L.A.Zadeh教授为名誉主编。目前，关于遗传算法研究的热潮仍在持续，越来越多的从事不同领域的研究人员已经或正在置身于有关遗传算法的研究或应用之中。,9.2 传统遗传算法,一、基本术语 1染色体和基因 生物的遗传物质的主要载体是染色体，基

10、因是控制生物性状的遗传物质的功能单位和结构单位。若干个基因组成染色体，染色体中的位置称为基因座（locus），而基因所取的值称为等位基因（alleles），基因和基因座决定了染色体的特性，也就决定了生物个体的性状。染色体对应的是数据或数组，通常是由一维的串（string）的结构数据来表现的。 2群体 一定数量的个体组成了群体（population）。群体中个体的数目称为群体规模（population size），各个体对环境的适应程度称为适应度（fitness）。,3编码和解码 前者是把搜索空间中的参数或解转换成遗传空间中的染色体或个体，此过程称为编码（coding）操作；后者是前者的逆操作，

11、称为解码（decoding）操作。,表9.1 生物遗传学与遗传算法基础术语对照表,二、传统遗传算法 图9.1 遗传算法的基本流程,遗传算法三个主要操作算子是选择（selection）、交叉（crossover）和变异（mutation），它们构成了所谓遗传操作（genetic operation），使遗传算法具备了其他传统方法所没有的 特性。遗传算法中包含如下五个基本要素： (1) 参数编码； (2) 初始群体的设定； (3) 适应度函数的设计； (4) 遗传操作设计； (5) 操作参数设定（主要指群体规模及执行遗传操作的概率等）。 假定用GA求函数f(x)=x2的最大值，设x0,31。,表9

12、.2 遗传算法求f(x)=x2极值的计算流程,(1) 编码 由于遗传算法不能直接处理解空间的解数据，所以必须通过编码将其表示成遗传空间的基因型串结构数据。 (2) 初始群体的形成 由于遗传算法执行群体型操作，所以必须为遗传操作准备一个由若干个属于解空间的初始解组成的初始群体。 (3) 适应度评估检测 遗传算法在搜索进化过程中一般不需要其他外部信息，仅用评估函数值来评估个体的优劣，并以此作为后继遗传操作的依据。评估函数值又称作适应度（fitness）。,(4) 选择(selection) 选择或复制操作的目的是从当前群体中选出优良的个体，使它们有机会作为父代为下一代繁殖。判断个体优劣的标准就是各

13、自的适应度值。这一操作借用了Darwin适者生存的进化原则，即个体适应度越高，其被选择作为父代的机会就越多。,(5) 交叉 简单的交叉（即单点交叉）可分两步进行：首先对配对库中的个体进行随机配对，然后在配对个体中随机设定交叉点，配对个体彼此交换部分信息。 (6) 变异 变异操作是按位（bit）进行的，即把某一位的内容进行变异。对于二进制编码的个体来说，若某位原为0，则通过变异操作就变成了1，反之亦然。,9.3 遗传算法的特点与研究课题,一、遗传算法的特点 遗传算法的处理对象不是参数（优化问题的参变量）本身，而是对参数集进行了编码的个体。这种编码操作，使得遗传算法可直接对结构对象进行操作（所谓结

14、构对象泛指集合、序列、矩阵、树、图、链和表等各种一维或高维结构形式）。这一特点使得遗传算法具有广泛的应用领域，例如： 通过对连接矩阵的操作，遗传算法可用来对神经网络或自动机的结构或参数加以优化。 通过对集合的操作，遗传算法可实现对规则集合或知识库的精练而达到高质量的机器学习目的。,通过对树结构的操作，遗传算法可得到用于分类的最佳结构树。 通过对任务序列的操作，遗传算法可用于任务规划，而通过对操作序列的处理，遗传算法可自动构造顺序控制系统。 遗传算法的基本作用对象是多个可行解的集合，而非单个可行解。它是采用同时处理群体中多个个体的方法，即同时对搜索空间中的多个解进行评估。这一特点使遗传算法具有较

15、好的全局搜索性能，减少了陷于局部优解的可能性。同时这又使得遗传算法本身具有良好的并行性。, 遗传算法仅用适应度函数值来评估个体，而无须搜索空间的知识或其它辅助信息。遗传算法的适应度函数不仅不受连续可微的约束，而且其定义域可以任意设定。对适应度函数的唯一要求是，对于输入可计算出能够进行比较的输出。遗传算法的这一特点使它的应用范围极大拓宽，使之可广泛应用于目标函数不可微、不连续、非规划、极其复杂或无解析表达式等类优化问题。 遗传算法不是采用确定性规则，而是采用概率的变迁规则来指导它的搜索方向。遗传算法执行选择、交叉、变异等类似生物进化过程的简单随机操作，具有极强的鲁棒性。需要指出，遗传算法采用概率

16、仅仅是作为一种工具来引导其搜索过程朝着搜索空间的更优的解的区域移动。因此尽管看起来它是一种盲目的搜索方法，但实际上有明确的搜索方向。,二、遗传算法的研究课题 (1) 遗传算法收敛性的研究 遗传算法源于自然选择和生物遗传学，相对于其鲜明的生物基础，遗传算法的理论基础公认是不完善的。各种改进的遗传算法的收敛速度估计是当前遗传算法理论研究中的一个难点，目前尚无任何结果，这也是当前最迫切需要解决的问题之一，因为它能从理论上对遗传算法的任何修正形式提供评判标准，以指明改进遗传算法效能的正确方向。,(2) 优化搜索方法的研究 迄今为止，优化问题的求解仍在遗传算法研究中站很大比重，诸如TSP等组合优化问题一

17、直是遗传算法十分活跃的研究课题。尽管遗传算法比其它传统搜索方法有更强的鲁棒性，但它更善长全局搜索，而局部搜索能力却不足。为此，除了要进一步改进基本理论和方法外，还要采用和人工神经网络、模拟退火技术、专家系统以及混沌理论等其它方法相结合的策略。,(3) 学习系统的遗传算法研究 基于遗传算法的机器学习是当前遗传算法研究的一个重要内容。这一新的研究课题把遗传算法从历来离散的搜索空间的优化搜索算法扩展到具有独特的规则生成功能的崭新的机器学习算法。这一新的学习机制对于解决人工智能中的知识获取和知识优化精练的瓶颈难题带来了希望。 (4) 遗传算法的并行分布处理 随着遗传算法应用的深入发展，并行分布遗传算法

18、及其实现的研究越来越为人们所重视。遗传算法由于执行群体性操作，所以本质上具有很好的并行分布处理特性。,(5) 人工生命与遗传算法的研究 人工生命所涉及的生命现象包括生命的起源、自我增殖、自适应遗传进化和免疫等。遗传算法与人工生命这一崭新的研究领域正在不断渗透。目前已有一些学者对生态系统的演变、食物链的维持以及免疫系统的进化等，利用遗传算法作了生动的模拟。 (6) 遗传算法和进化规划、进化策略的比较与结合 进化规划（Evolutionary Programming，EP）和进化策略(Evolution Strategies, ES)几乎是和遗传算法同时独立发展起来的，同遗传算法一样，它们也是模拟

19、自然界生物进化机制的智能计算方法，既同遗传算法具有相同之处也有各自的特点。进入九十年代，这三种方法才开始彼此交流。目前，关于这三种方法之间的比较研究和彼此结合的探讨正在形成热点。,Related Papers,Jinping Li, Jianqin Yin, et al. Combination of genetic algorithm and local search algorithms. Journal of Computational Information System, 2006, 2(3): 1119-1126.李金屏，韩延彬，孙志胜。混沌优化算法性能分析。小型微型计算机系统。2005,26(8): 1340-1344。李金屏，李素昉，杨波。基于小生境算法和聚类分析的快速收敛遗传算法。小型微型计算机系统。2004, 25(6): 975-978.史奎凡，董吉文，李金屏等。正交遗传算法。电子学报。2002, 30(10):1501-1504.李金屏，何苗，刘明军，杨波。提高BP小波神经网络收敛速度的研究。模式识别与人工智能。2002, 15(1): 28-35 李金屏，何苗，杨波。遗传算法平均截止代数和成功率与种群规模之间的关系。系统仿真学报(增刊),2001, Vol.13, 206-210,