深度信念网络 神经网络与深度学习 https:/nndl.github.io/神经网络与深度学习 2 玻尔兹曼机神经网络与深度学习 3 玻尔兹曼机（Boltzmann machine） 玻尔兹曼机是一个特殊的概 率无向图模型。 每个随机变量是二值的 所有变量之间是全连接的 整个能量函数定义为 P(X) 为玻尔兹曼分布 一个有六个变量的玻尔兹曼机 两个基本问题： 1. 推断p(h|v) 2. 参数学习W神经网络与深度学习 4 玻尔兹曼机的推断 如何推断？ 近似采样-Gibbs采样 全条件概率神经网络与深度学习 5 模拟退火 让系统刚开始在一个比较高的温度下运行，然后逐 渐降低，直到系统在一个比较低的温度下达到热平 衡。 当系统温度非常高T 时，p i 0.5，即每个变 量状态的改变十分容易，每一种网络状态都是一样 的，而从很快可以达到热平衡。 当系统温度非常低T 0时，如果E i (x i ) 0则p i 1，如果E i (x i ) 0则p i 0。 随机性方法变成确定性方法 Hopfield网络神经网络与深度学习 6 Hopfield网络和玻尔兹曼 的能量变化对比神经网络与深度学习
