注意力机制与外部记忆 神经网络与深度学习 https:/nndl.github.io/神经网络与深度学习 2 网络能力 全连接 前馈网络 卷积网络 循环网络 图网络 增加网络能力的另一种思路： 注意力机制 外部记忆神经网络与深度学习 3 例子：阅读理解 1 John moved to the bedroom. 2 Mary grabbed the football there. 3 Sandra journeyed to the bedroom. 4 Sandra went back to the hallway. 5 Mary moved to the garden. 6 Mary journeyed to the office. 7 Where is the football? office FacebookbAbitasks神经网络与深度学习 4 例子：阅读理解SQuAD神经网络与深度学习 5 通用近似定理 由于优化算法和计算能力的限制，神经网络 在实践中很难达到通用近似的能力。 网络不能太复杂（参数太多） 如何提高网络能力 局部连接 权重共享 汇聚操作 ？ 外部记忆 注意力神经
