误差反向传播.doc

1、误 差 反 向 传 播 （ Error Back Propagation, BP） 算 法 1、 BP 算 法 的 基 本 思 想 是 ， 学 习 过 程 由 信 号 的 正 向 传 播 与 误 差 的 反 向 传播 两 个 过 程 组 成 。 1） 正 向 传 播 ： 输 入 样 本 输 入 层 各 隐 层 （ 处 理 ） 输 出 层 注 1： 若 输 出 层 实 际 输 出 与 期 望 输 出 （ 教 师 信 号 ） 不 符 ， 则 转 入 2）（ 误 差 反 向 传 播 过 程 ） 2） 误 差 反 向 传 播 ： 输 出 误 差 （ 某 种 形 式 ） 隐 层 （ 逐 层 ） 输 入

2、层 其 主 要 目 的 是 通 过 将 输 出 误 差 反 传 ， 将 误 差 分 摊 给 各 层 所 有 单 元 ， 从 而获 得 各 层 单 元 的 误 差 信 号 ， 进 而 修 正 各 单 元 的 权 值 （ 其 过 程 ， 是 一 个 权 值 调整 的 过 程 ） 。 注 2： 权 值 调 整 的 过 程 ， 也 就 是 网 络 的 学 习 训 练 过 程 （ 学 习 也 就 是 这 么的 由 来 ， 权 值 调 整 ） 。 2、 BP 算 法 实 现 步 骤 （ 软 件 ） ： 1） 初 始 化 2） 输 入 训 练 样 本 对 ， 计 算 各 层 输 出 3） 计 算 网 络 输

3、 出 误 差 4） 计 算 各 层 误 差 信 号 5） 调 整 各 层 权 值 6） 检 查 网 络 总 误 差 是 否 达 到 精 度 要 求 满 足 ， 则 训 练 结 束 ； 不 满 足 ， 则 返 回 步 骤 2） 3、 多 层 感 知 器 （ 基 于 BP 算 法 ） 的 主 要 能 力 ： 1） 非 线 性 映 射 ： 足 够 多 样 本 学 习 训 练 能 学 习 和 存 储 大 量 输 入 输 出 模 式 映 射 关 系 。 只 要 能 提 供 足 够 多 的 样 本模 式 对 供 BP 网 络 进 行 学 习 训 练 ， 它 便 能 完 成 由 n 维 输 入 空 间 到

4、m 维 输 出 空间 的 非 线 性 映 射 。 2） 泛 化 ： 输 入 新 样 本 （ 训 练 是 未 有 ） 完 成 正 确 的 输 入 、 输 出 映 射 3） 容 错 ： 个 别 样 本 误 差 不 能 左 右 对 权 矩 阵 的 调 整 4、 标 准 BP 算 法 的 缺 陷 ： 1） 易 形 成 局 部 极 小 （ 属 贪 婪 算 法 ， 局 部 最 优 )而 得 不 到 全 局 最 优 ； 2） 训 练 次 数 多 使 得 学 习 效 率 低 下 ， 收 敛 速 度 慢 （ 需 做 大 量 运 算 ） ； 3） 隐 节 点 的 选 取 缺 乏 理 论 支 持 ； 4） 训 练

5、时 学 习 新 样 本 有 遗 忘 旧 样 本 趋 势 。 注 3： 改 进 算 法 增 加 动 量 项 、 自 适 应 调 整 学 习 速 率 （ 这 个 似 乎 不 错 )及 引 入 陡 度 因 子 BP 算 法 基 本 介 绍 含 有 隐 层 的 多 层 前 馈 网 络 能 大 大 提 高 神 经 网 络 的 分 类 能 力 ， 但 长 期 以 来没 有 提 出 解 决 权 值 调 整 问 题 的 游 戏 算 法 。 1986 年 ， Rumelhart 和McCelland 领 导 的 科 学 家 小 组 在 Parallel Distributed Processing 一书 中 ，

6、 对 具 有 非 线 性 连 续 转 移 函 数 的 多 层 前 馈 网 络 的 误 差 反 向 传 播（ Error Back Proragation， 简 称 BP） 算 法 进 行 了 详 尽 的 分 析 ， 实 现 了Minsky 关 于 多 层 网 络 的 设 想 。 由 于 多 层 前 馈 网 络 的 训 练 经 常 采 用 误 差 反 向 传播 算 法 ， 人 们 也 常 把 将 多 层 前 馈 网 络 直 接 称 为 BP 网 络 。 BP 算 法 的 基 本 思 想 是 ， 学 习 过 程 由 信 号 的 正 向 传 播 与 误 差 的 反 向 传 播 两个 过 程 组 成

7、。 正 向 传 播 时 ， 输 入 样 本 从 输 入 层 传 人 ， 经 各 隐 层 逐 层 处 理 后 ，传 向 输 出 层 。 若 输 出 层 的 实 际 输 出 与 期 望 的 输 出 (教 师 信 号 )不 符 ， 则 转 入误 差 的 反 向 传 播 阶 段 。 误 差 反 传 是 将 输 出 误 差 以 某 种 形 式 通 过 隐 层 向 输 入 层逐 层 反 传 ， 并 将 误 差 分 摊 给 各 层 的 所 有 单 元 ， 从 而 获 得 各 层 单 元 的 误 差 信 号 ，此 误 差 信 号 即 作 为 修 正 各 单 元 权 值 的 依 据 。 这 种 信 号 正 向

8、传 播 与 误 差 反 向 传播 的 各 层 权 值 调 整 过 程 ， 是 周 而 复 始 地 进 行 的 。 权 值 不 断 调 整 的 过 程 ， 也 就是 网 络 的 学 习 训 练 过 程 。 此 过 程 一 直 进 行 到 网 络 输 出 的 误 差 减 少 到 可 接 受 的程 度 ， 或 进 行 到 预 先 设 定 的 学 习 次 数 为 止 。 5,BP 算 法 的 网 络 结 构 示 意 图 BP 算法 输入、输出层各 3 节点，隐层要多少节点合适？悬赏分：0 - 解决时间：2010-5-2 15:16 对下面九种模式实现正确的分类：第一类输入样本(3/4, 1/8), (

9、1/4, 1/4), (3/4, 3/4), 对于第一类样本对应的期望输出为（1；-1；-1）第二类输入样本(1/2, 1/8), (3/4, 1/4), (1/4, 3/4), 对于第一类样本对应的期望输出为（-1；1；-1）第三类输入样本(1/4, 1/2), (1/2, 1/2), (3/4, 1/2), 对于第一类样本对应的期望输出为（-1；-1；1） 提问者： dingyong198608 - 一 级最佳答案可以使用试凑法，采用公式 m=sqrt(n+l）+a ，其中 m 为隐层结点数，n 为输入层结点数，l 为输出层结点数，a 为 15 之间的常数。 2编 辑 本 段摘 要 神 经

10、 网 络 算 法 是 在 神 经 网 络 现 有 算 法 的 基 础 上 提 出 的 ， 是 通 过任 意 选 定 一 组 权 值 ， 将 给 定 的 目 标 输 出 直 接 作 为 线 性 方 程 的 代 数 和 来 建 立 线性 方 程 组 ， 解 得 待 求 权 ， 不 存 在 传 统 方 法 的 局 部 极 小 及 收 敛 速 度 慢 的 问 题 ，且 更 易 理 解 。 编 辑 本 段关 键 词固 定 权 值 消 元 法 ； 算 法人 工 神 经 网 络 （ ， ） 系 统 是 世 纪 年 代 后 出 现 的 ， 它 是 由 众多 的 神 经 元 可 调 的 连 接 权 值 连 接

11、而 成 ， 具 有 大 规 模 并 行 处 理 、 分 布 式 信 息 存储 、 良 好 的 自 组 织 自 学 习 能 力 等 特 点 ， 在 信 息 处 理 、 模 式 识 别 、 智 能 控 制 及系 统 建 模 等 领 域 得 到 越 来 越 广 泛 的 应 用 。 尤 其 误 差 反 向 传 播 算 法（ ，简 称 网 络 ） 可 以 逼 近 任 意 连 续 函 数 ， 具 有 很 强 的 非 线 性 映 射 能 力 ， 而 且网 络 的 中 间 层 数 、 各 层 的 处 理 单 元 数 及 网 络 的 学 习 系 数 等 参 数 可 根 据 具 体 情况 设 定 ， 灵 活 性

12、很 大 ， 所 以 它 在 许 多 应 用 领 域 中 起 到 重 要 作 用 。 近 年 来 ， 为了 解 决 神 经 网 络 收 敛 速 度 慢 、 不 能 保 证 收 敛 到 全 局 最 小 点 ， 网 络 的 中 间层 及 它 的 单 元 数 选 取 无 理 论 指 导 及 网 络 学 习 和 记 忆 的 不 稳 定 性 等 缺 陷 ， 提 出了 许 多 改 进 算 法 。 传 统 的 算 法 简 述 算 法 是 一 种 有 监 督 式 的 学 习 算 法 ， 其 主 要 思 想 是 ： 输 入 学 习 样 本 ，使 用 反 向 传 播 算 法 对 网 络 的 权 值 和 偏 差 进

13、行 反 复 的 调 整 训 练 ， 使 输 出 的 向 量与 期 望 向 量 尽 可 能 地 接 近 ， 当 网 络 输 出 层 的 误 差 平 方 和 小 于 指 定 的 误 差 时 训练 完 成 ， 保 存 网 络 的 权 值 和 偏 差 。 具 体 步 骤 如 下 ： （ ） 初 始 化 ， 随 机 给 定 各 连 接 权 , 及 阀 值 i， t。 （ ） 由 给 定 的 输 入 输 出 模 式 对 计 算 隐 层 、 输 出 层 各 单 元 输 出 j （ wijai- j） t （ vjtbj t） 式 中 ： j 为 隐 层 第 个 神 经 元 实 际 输 出 ； t 为 输 出

14、 层 第 个 神 经 元的 实 际 输 出 ； wij 为 输 入 层 至 隐 层 的 连 接 权 ； vjt 为 隐 层 至 输 出 层 的 连 接 权 。 tk （ tk t） t（ t） jk dtvjt j（ j） 式 中 ： tk 为 输 出 层 的 校 正 误 差 ； jk 为 隐 层 的 校 正 误 差 。 （ ） 计 算 新 的 连 接 权 及 阀 值 ， 计 算 公 式 如 下 ： jt（ ） jt（ ） ?琢 tk j ij（ ） ij（ ） ?茁 jk ik t（ ） t（ ） ?琢 tk j（ ） = j（ ） ?茁 jk 式 中 ： ?琢 ， ?茁 为 学 习 系 数

15、 （ ?琢 ， ?茁 ） 。 （ ） 选 取 下 一 个 输 入 模 式 对 返 回 第 步 反 复 训 练 直 到 网 络 设 输 出 误 差达 到 要 求 结 束 训 练 。 传 统 的 算 法 ， 实 质 上 是 把 一 组 样 本 输 入 /输 出 问 题 转 化 为 一 个 非 线性 优 化 问 题 ， 并 通 过 负 梯 度 下 降 算 法 ， 利 用 迭 代 运 算 求 解 权 值 问 题 的 一 种 学习 方 法 ， 但 其 收 敛 速 度 慢 且 容 易 陷 入 局 部 极 小 ， 为 此 提 出 了 一 种 新 的 算 法 ，即 高 斯 消 元 法 。 改 进 的 网 络

16、算 法 改 进 算 法 概 述 此 前 有 人 提 出 ： 任 意 选 定 一 组 自 由 权 ， 通 过 对 传 递 函 数 建 立 线 性 方 程 组 ，解 得 待 求 权 。 本 文 在 此 基 础 上 将 给 定 的 目 标 输 出 直 接 作 为 线 性 方 程 等 式 代 数和 来 建 立 线 性 方 程 组 ， 不 再 通 过 对 传 递 函 数 求 逆 来 计 算 神 经 元 的 净 输 出 ， 简化 了 运 算 步 骤 。 没 有 采 用 误 差 反 馈 原 理 ， 因 此 用 此 法 训 练 出 来 的 神 经 网 络 结果 与 传 统 算 法 是 等 效 的 。 其 基

17、本 思 想 是 ： 由 所 给 的 输 入 、 输 出 模 式 对 通 过 作用 于 神 经 网 络 来 建 立 线 性 方 程 组 ， 运 用 高 斯 消 元 法 解 线 性 方 程 组 来 求 得 未 知权 值 ， 而 未 采 用 传 统 网 络 的 非 线 性 函 数 误 差 反 馈 寻 优 的 思 想 。 改 进 算 法 的 具 体 步 骤 对 给 定 的 样 本 模 式 对 ， 随 机 选 定 一 组 自 由 权 ， 作 为 输 出 层 和 隐 含 层 之 间固 定 权 值 ， 通 过 传 递 函 数 计 算 隐 层 的 实 际 输 出 ， 再 将 输 出 层 与 隐 层 间 的 权

18、 值作 为 待 求 量 ， 直 接 将 目 标 输 出 作 为 等 式 的 右 边 建 立 方 程 组 来 求 解 。 现 定 义 如 下 符 号 （ 见 图 ） ： （ p） 输 入 层 的 输 入 矢 量 ； （ p）输 入 层 输 入 为 （ p） 时 输 出 层 的 实 际 输 出 矢 量 ； （ p） 目 标 输 出 矢 量 ； ， ， 分 别 为 输 入 层 、 隐 层 和 输 出 层 神 经 元 个 数 ； 为 隐 层 与 输 入 层 间的 权 矩 阵 ； 为 输 出 层 与 隐 层 间 的 权 矩 阵 。 具 体 步 骤 如 下 ： （ ） 随 机 给 定 隐 层 和 输 入

19、层 间 神 经 元 的 初 始 权 值 ij。 （ ） 由 给 定 的 样 本 输 入 i（ p） 计 算 出 隐 层 的 实 际 输 出 j（ p） 。为 方 便 起 见 将 图 网 络 中 的 阀 值 写 入 连 接 权 中 去 ， 令 ： 隐 层 阀 值 j nj， （ ） ， 则 ： j（ p） = （ wij i（ p） ） （ ， ） 。 （ ） 计 算 输 出 层 与 隐 层 间 的 权 值 jr。 以 输 出 层 的 第 个 神 经 元 为对 象 ， 由 给 定 的 输 出 目 标 值 r（ p） 作 为 等 式 的 多 项 式 值 建 立 方 程 ， 用 线 性方 程 组 表

20、 示 为 ： a0（ 1） v1r+a1（ 1） v2r+am（ 1） vmr=tr（ 1） a0（ 2） v1r+a1（ 2）v2r+am（ 2） vmr=tr（ 2） a0（ p） v1r+a1（ p） v2r+am（ p）vmr=tr（ p） 简 写 为 ： 为 了 使 该 方 程 组 有 唯 一 解 ， 方 程 矩 阵 为 非 奇 异 矩 阵 ， 其 秩 等 于 其 增 广矩 阵 的 秩 ， 即 ： （ ） （ ） ， 且 方 程 的 个 数 等 于 未 知 数 的 个 数 ，故 取 ， 此 时 方 程 组 的 唯 一 解 为 ： 0r， 2r， mr（ ， ， ） （ ） 重 复 第 三 步 就 可 以 求 出 输 出 层 个 神 经 元 的 权 值 ， 以 求 的 输 出 层的 权 矩 阵 加 上 随 机 固 定 的 隐 层 与 输 入 层 的 权 值 就 等 于 神 经 网 络 最 后 训 练 的 权矩 阵 。 计 算 机 运 算 实 例现 以 神 经 网 络 最 简 单 的 问 题 用 编 程 运 算 进 行 比 较 （ 取 神 经 网络 结 构 为 型 ） ， 传 统 算 法 和 改 进 算 法 的 误 差 （ 取 动 量 因 子 ， 步 长 ）