1、随机网络：学习运行引入随机机制1.存在的问题：以目标函数的极小值，作为学习或运行的目的BP算法 -误差函数，梯度下降Hop算法 -Hebb规则 -能量函数 E容易陷入局部极小点。 无法避免，从 入手：将 “ 总是沿梯度下降方向演变 ” 改为 ” 大部分沿梯度下降方向演变，但允许少数情况沿上升方向演变。 ”目录v 引言v 模拟退火算法的模型v 模拟退火算法的简单应用v 模拟退火算法的参数控制问题v Boltzmann机4.1 引言v 模拟退火 (Simulated Annealing, SA)算法是近年来特别引入注目的一种适用于解大型组合优化问题的优化方法 ,算法来源于固体退火原理 ,其核心在于
2、 模仿热力学中液体的冻结与结晶或金属熔液的冷却与退火过程 -物理退火过程和 Metropolis准则.v 下面分别介绍 SA原理 SA全局优化的直观解释4.1.1 模拟退火 原理v 简单而言 ,在固体退火时 ,先将固体加热使其温度充分高 ,再让其徐徐冷却 ,其物理退火过程由以下三部分组成： 加温过程 等温过程 冷却过程4.1.1 模拟退火 原理 加温过程v 在固体退火时 ,先将固体加热使其温度充分高,其目的是增强粒子的热运动 ,使其偏离平衡位置 .v 当温度足够高时 ,固体将溶解为液体 ,固体内部粒子随温升变为无序状 , 彼此之间可以自由移动 ,从而消除系统原先可能存在的非均匀态 ,使随后进行
3、的冷却过程以某一平衡态为起点 .v 熔解过程 (加热固体至高温液态 )与系统的熵增过程联系 ,系统内部能量也随温度的升高而增大 . 4.1.1 模拟退火 原理 等温过程v 物理学的知识告诉我们 ,对于与周围环境交换热量而温度不变的封闭系统 ,系统状态的自发变化总是朝自由能减少的方向进行 ,当自由能达到最小时 ,系统达到平衡态 . 冷却过程v 目的是使粒子的热运动减弱并渐趋有序 ,系统能量逐渐下降 ,从而得到低能的晶体结构 . v 徐徐冷却时粒子就会丧失由干温度而引起的流动性 ,渐趋有序 ,这时原子就会自己排列起来而形成一种纯晶体 ,它们依次地朝各个方向排列成几十亿倍于单个原子大小的距离 ,这个
4、纯晶体状态就是该系统的平衡态 ,亦为最小能量状态 .4.1.1 模拟退火 原理v 有趣的是 : 对一个徐徐冷却的系统 ,当这些原子在逐渐失去活力的同时 ,它们自己就同时地排列而形成一个纯晶体 ,使这个系统的能量达到其最小值 . 这里引起特别关注的是 ,在这个物理系统的冷却过程中 ,这些原子是 “ 同时地 ” 把它们自己排列成一个纯晶体的 . 如果一种金属熔液是被快速冷却或泼水使其冷却的 ,则它不能达到纯晶体状态 ,而是变成一种多晶体或非晶体状态 ,系统处在这种状态时具有较高的能量 .4.1.1 模拟退火 原理v SA算法就是模仿上述物理系统徐徐退火过程的一种通用随机搜索技术 ,人们可用马尔柯夫链的遍历理论来给它以数学上的描述 . 在搜索最优解的过程中 ,SA算法除了可以接受优化解外 ,还基于随机接受准则 (Metropolis准则 )有限度地接受 恶化解 ,并且接受恶化解的概率慢慢趋向于 0.v 这使得算法有可能从局部最优中跳出 ,尽可能找到全局最优解 ,并保证了算法的收敛 . SA的思想最早是由 Metropolis等 (1953)提出的 .v Metropolis等提出了重要性采样法 ,即以概率接受新状态 .对于某一给定温度，系统若达到热平衡状态 (循环若干次 )，则该状态下的能量服从 Bottzmann分布 .4.1.1 模拟退火 原理
