基于大数据的数据治理.doc

1、1基于大数据的数据治理建设方案2目 录一 数据管理的现状 .3二 数据治理的概述 .4（一） 数据治理概念 .4（二） 数据治理目标 .5三 数据治理体系 .5四 数据治理核心领域 .6（一） 数据模型 .6（二） 数据生命周期 .6（三） 数据标准 .8（四） 主数据 .9（五） 数据质量 .10（六） 数据服务 .12（七） 数据安全 .12五 数据治理保障机制 .13（一） 制度章程 .13(1) 规章制度 .13(2) 管控办法 .13(3) 考核机制 .13（二） 数据治理组织 .15(1) 组织架构 .15(2) 组织层次 .16(3) 组织职责 .17（三） 流程管理 .19（四

2、） IT 技术应用 .19(1) 支撑平台 .19(2) 技术规范 .22附件 A 数据管理规范 .23附件 B 数据质量评估办法 .38附件 C 数据质量管理流程 .423关于数据治理的理解1. 数据管理的现状根 据 行 业 信 息 化 发 展 的 现 状 ， 结 合 当 今 行 业 数 据 治 理 的 要 求 ，大 型 集 团 或 政 务 管 理 部 门 现 阶 段 数 据 管 理 方 面 存 在 以 下 的 不 足 ：（ 1） 数 据 多 头 管 理 ， 缺 少 专 门 对 数 据 管 理 进 行 监 督 和 控 制的 组 织 。 信 息 系 统 的 建 设 和 管 理 职 能 分 散

3、在 各 部 门 ， 致 使 数 据 管理 的 职 责 分 散 ， 权 责 不 明 确 。 组 织 机 构 各 部 门 关 注 数 据 的 角 度 不一 样 ， 缺 少 一 个 组 织 从 全 局 的 视 角 对 数 据 进 行 管 理 ， 导 致 无 法 建立 统 一 的 数 据 管 理 规 程 、 标 准 等 ， 相 应 的 数 据 管 理 监 督 措 施 无 法得 到 落 实 。 组 织 机 构 的 数 据 考 核 体 系 也 尚 未 建 立 ， 无 法 保 障 数 据管 理 标 准 和 规 程 的 有 效 执 行 。（ 2） 多 系 统 分 散 建 设 ， 没 有 规 范 统 一 的 省

4、 级 数 据 标 准 和 数据 模 型 。 组 织 机 构 为 应 对 迅 速 变 化 的 市 场 和 社 会 需 求 ， 逐 步 建 立了 各 自 的 信 息 系 统 ， 各 部 门 站 在 各 自 的 立 场 生 产 、 使 用 和 管 理 数据 ， 使 得 数 据 分 散 在 不 同 的 部 门 和 信 息 系 统 中 ， 缺 乏 统 一 的 数 据规 划 、 可 信 的 数 据 来 源 和 数 据 标 准 ， 导 致 数 据 不 规 范 、 不 一 致 、冗 余 、 无 法 共 享 等 问 题 出 现 ， 组 织 机 构 各 部 门 对 数 据 的 理 解 难 以应 用 一 致 的 语

5、 言 来 描 述 ， 导 致 理 解 不 一 致 。 （ 3） 缺 少 统 一 的 主 数 据 ， 组 织 机 构 核 心 系 统 间 的 人 员 等 主要 信 息 并 不 是 存 储 在 一 个 独 立 的 系 统 中 ， 或 者 不 是 通 过 统 一 的 业务 管 理 流 程 在 系 统 间 维 护 。 缺 乏 对 集 团 公 司 或 政 务 单 位 主 数 据 的 管理 ， 就 无 法 保 障 主 数 据 在 整 个 业 务 范 围 内 保 持 一 致 、 完 整 和 可 控 ，4导 致 业 务 数 据 正 确 性 无 法 得 到 保 障 。 （ 4） 缺 乏 统 一 的 集 团 型

6、数 据 质 量 管 理 流 程 体 系 。 当 前 现 状中 数 据 质 量 管 理 主 要 由 各 组 织 部 门 分 头 进 行 ； 跨 局 跨 部 门 的 数 据质 量 沟 通 机 制 不 完 善 ； 缺 乏 清 晰 的 跨 局 跨 部 门 的 数 据 质 量 管 控 规 范与 标 准 ， 数 据 分 析 随 机 性 强 ， 存 在 业 务 需 求 不 清 的 现 象 ， 影 响 数据 质 量 ； 数 据 的 自 动 采 集 尚 未 全 面 实 现 ， 处 理 过 程 存 在 人 为 干 预问 题 ， 很 多 部 门 存 在 数 据 质 量 管 理 人 员 不 足 、 知 识 与 经 验

7、 不 够 、监 管 方 式 不 全 面 等 问 题 ； 缺 乏 完 善 的 数 据 质 量 管 控 流 程 和 系 统 支撑 能 力 。 （ 5） 数 据 全 生 命 周 期 管 理 不 完 整 。 目 前 ， 大 型 集 团 或 政 务单 位 ， 数 据 的 产 生 、 使 用 、 维 护 、 备 份 到 过 时 被 销 毁 的 数 据 生 命周 期 管 理 规 范 和 流 程 还 不 完 善 ， 不 能 确 定 过 期 和 无 效 数 据 的 识 别条 件 ， 且 非 结 构 化 数 据 未 纳 入 数 据 生 命 周 期 的 管 理 范 畴 ； 无 信 息化 工 具 支 撑 数 据 生

8、命 周 期 状 态 的 查 询 ， 未 有 效 利 用 元 数 据 管 理 。2. 数据治理的概述2.1 数据治理概念数 据 治 理 是 指 将 数 据 作 为 组 织 资 产 而 展 开 的 一 系 列 的 具 体 化工 作 ,是 对 数 据 的 全 生 命 周 期 管 理 。数 据 治 理 体 系 是 指 从 组 织 架 构 、 管 理 制 度 、 操 作 规 范 、 IT 应用 技 术 、 绩 效 考 核 支 持 等 多 个 维 度 对 组 织 的 数 据 模 型 、 数 据 架 构 、数 据 质 量 、 数 据 安 全 、 数 据 生 命 周 期 等 各 方 面 进 行 全 面 的 梳

9、 理 、建 设 以 及 持 续 改 进 的 体 系 。52.2 数据治理目标数 据 治 理 的 目 标 是 提 高 数 据 的 质 量 （ 准 确 性 和 完 整 性 ）， 保 证数 据 的 安 全 性 （ 保 密 性 、 完 整 性 及 可 用 性 ）， 实 现 数 据 资 源 在 各 组织 机 构 部 门 的 共 享 ； 推 进 信 息 资 源 的 整 合 、 对 接 和 共 享 ， 从 而 提 升集 团 公 司 或 政 务 单 位 信 息 化 水 平 ， 充 分 发 挥 信 息 化 作 用 。3. 数据治理体系数 据 治 理 体 系 包 含 两 个 方 面 ， 一 是 数 据 质 量 核

10、 心 领 域 ， 二 是数 据 质 量 保 障 机 制 。具 体 两 者 内 容 及 相 互 关 系 可 以 参 见 下 图 ：4. 数据治理核心领域为 了 有 效 管 理 信 息 资 源 ， 必 须 构 集 团 级 数 据 治 理 体 系 。 数 据6治 理 体 系 包 含 数 据 治 理 组 织 、 数 据 构 架 管 理 、 主 数 据 管 理 、 数 据 质量 管 理 、 数 据 服 务 管 理 及 数 据 安 全 管 理 内 容 ， 这 些 内 容 既 有 机 结 合 ，又 相 互 支 撑 。4.1 数据模型数 据 模 型 是 数 据 构 架 中 重 要 一 部 分 ， 包 括 概

11、念 数 据 模 型 和 逻辑 数 据 模 型 ， 是 数 据 治 理 的 关 键 、 重 点 。 理 想 的 数 据 模 型 应 该 具有 非 冗 余 、 稳 定 、 一 致 、 易 用 等 特 征 。 逻 辑 数 据 模 型 能 涵 盖 整 个集 团 的 业 务 范 围 ， 以 一 种 清 晰 的 表 达 方 式 记 录 跟 踪 集 团 单 位 的 重要 数 据 元 素 及 其 变 动 ， 并 利 用 它 们 之 间 各 种 可 能 的 限 制 条 件 和 关系 来 表 达 重 要 的 业 务 规 则 。 数 据 模 型 必 须 在 设 计 过 程 中 保 持 统 一的 业 务 定 义 。

12、为 了 满 足 将 来 不 同 的 应 用 分 析 需 要 ， 逻 辑 数 据 模 型的 设 计 应 该 能 够 支 持 最 小 粒 度 的 详 细 数 据 的 存 储 ， 以 支 持 各 种 可能 的 分 析 查 询 。 同 时 保 障 逻 辑 数 据 模 型 能 够 最 大 程 度 上 减 少 冗 余 ，并 保 障 结 构 具 有 足 够 的 灵 活 性 和 扩 展 性4.2 数据生命周期一 般 包 括 数 据 生 成 及 传 输 、 数 据 存 储 、 数 据 处 理 及 应 用 、 数据 销 毁 四 个 方 面 。（ 1） 数 据 生 成 及 传 输数 据 应 该 能 够 按 照 数

13、据 质 量 标 准 和 发 展 需 要 产 生 ， 应 采 取 措施 保 证 数 据 的 准 确 性 和 完 整 性 ， 业 务 系 统 上 线 前 应 该 进 行 必 要 的安 全 测 试 ， 以 保 证 上 述 措 施 的 有 效 性 。 对 于 手 工 流 程 中 产 生 的 数据 在 相 关 制 度 中 明 确 要 求 ， 并 通 过 事 中 复 核 、 事 后 检 查 等 手 段 保7证 其 准 确 性 和 完 整 性 。 数 据 传 输 过 程 中 需 要 考 虑 保 密 性 和 完 整 性 的问 题 ， 对 不 同 种 类 的 数 据 分 别 采 取 不 同 的 措 施 防 止

14、数 据 泄 漏 或 数 据被 篡 改 。（ 2） 数 据 存 储这 个 阶 段 除 了 关 注 保 密 性 、 完 整 性 之 外 ， 更 要 关 心 数 据 的 可用 性 ， 对 于 大 部 分 数 据 应 采 取 分 级 存 储 的 方 式 ， 不 仅 存 储 在 本 地磁 盘 上 ， 还 应 该 在 磁 带 上 ， 甚 至 远 程 复 制 到 磁 盘 阵 列 中 ， 或 者 采用 光 盘 库 进 行 存 储 。 对 于 存 储 备 份 的 数 据 要 定 期 进 行 测 试 ， 确 保其 可 访 问 其 数 据 完 整 。 数 据 的 备 份 恢 复 策 略 应 该 由 数 据 的 责

15、任 部门 或 责 任 人 负 责 制 定 ， 信 息 化 管 理 部 门 可 以 给 予 相 应 的 支 持 。 同时 还 需 要 注 意 因 为 部 门 需 要 或 故 障 处 理 的 需 要 ， 可 能 对 数 据 进 行修 改 ， 必 须 在 数 据 管 理 办 法 中 明 确 数 据 修 改 的 申 请 审 批 流 程 ， 审慎 对 待 后 台 数 据 修 改 。（ 3） 数 据 处 理 和 应 用信 息 化 相 关 部 门 需 要 对 数 据 进 行 分 析 处 理 ， 以 挖 掘 出 对 于 管理 及 业 务 开 展 有 价 值 的 信 息 ， 为 保 证 过 程 中 数 据 的

16、安 全 性 ， 一 般应 采 用 联 机 处 理 ， 系 统 只 输 出 分 析 处 理 的 结 果 。 但 是 实 际 中 ， 因为 相 关 数 据 分 析 系 统 建 设 不 到 位 ， 需 要 从 数 据 库 中 提 取 数 据 后 再对 数 据 进 行 必 要 的 分 析 处 理 ， 在 这 个 过 程 中 就 需 要 关 注 数 据 提 取操 作 是 否 可 能 对 数 据 库 造 成 破 坏 、 提 取 出 的 数 据 在 交 付 给 分 析 处 理人 员 的 过 程 中 其 安 全 性 是 否 会 降 低 、 数 据 分 析 处 理 的 环 境 安 全 性等 等 。（ 4） 数

17、据 销 毁这 个 阶 段 主 要 涉 及 数 据 的 保 密 性 。 应 明 确 数 据 销 毁 的 流 程 ，8采 用 必 要 的 工 具 ， 数 据 的 销 毁 应 该 有 完 整 的 记 录 。 尤 其 是 对 于 需 要送 出 外 部 修 理 的 存 储 设 备 ， 送 修 之 前 应 该 对 数 据 进 行 可 靠 的 销 毁 。4.3 数据标准数 据 标 准 是 集 团 单 位 建 立 的 一 套 符 合 自 身 实 际 ， 涵 盖 定 义 、操 作 、 应 用 多 层 次 数 据 的 标 准 化 体 系 。数 据 标 准 的 建 立 是 集 团 单 位 信 息 化 、 数 字 化

18、 建 设 的 一 项 重 要工 作 ， 行 业 的 各 类 数 据 必 须 遵 循 一 个 统 一 的 标 准 进 行 组 织 ， 才 能构 成 一 个 可 流 通 、 可 共 享 的 信 息 平 台 。数 据 治 理 对 标 准 的 需 求 可 以 划 分 为 两 类 ， 即 基 础 性 标 准 和 应用 性 标 准 。 前 者 主 要 用 于 在 不 同 系 统 间 ， 形 成 信 息 的 一 致 理 解 和统 一 的 坐 标 参 照 系 统 ， 是 信 息 汇 集 、 交 换 以 及 应 用 的 基 础 ， 包 括数 据 分 类 与 编 码 、 数 据 字 典 、 数 字 地 图 标 准

19、 ； 后 者 是 为 平 台 功 能发 挥 所 涉 及 的 各 个 环 节 ， 提 供 一 定 的 标 准 规 范 ， 以 保 证 信 息 的 高效 汇 集 和 交 换 ， 包 括 元 数 据 标 准 、 数 据 交 换 技 术 规 范 、 数 据 传 输协 议 、 数 据 质 量 标 准 等 。（ 1） 数 据 分 类 与 编 码数 据 分 类 与 编 码 标 准 是 信 息 化 建 设 中 标 准 化 的 一 项 基 础 工 作 ，该 类 标 准 规 定 平 台 汇 集 、 交 换 相 关 信 息 统 一 的 分 类 系 统 和 排 列 顺序 以 及 编 码 规 则 ， 目 的 是 在 不

20、 同 系 统 和 用 户 之 间 建 立 交 通 数 据 的一 致 参 照 ， 对 提 高 数 据 采 集 、 处 理 和 数 据 交 换 效 率 具 有 重 要 作 用 。数 据 分 类 与 编 码 标 准 的 制 定 将 有 力 推 进 平 台 标 准 化 及 交 通 信 息 化建 设 标 准 化 的 进 程 。（ 2） 数 据 字 典9针 对 实 际 需 求 ， 定 义 数 据 集 ， 建 立 各 个 领 域 的 数 据 字 典 ， 规范 数 据 概 念 和 数 据 定 义 。 在 此 基 础 上 ， 形 成 完 备 的 集 团 单 位 数 据 集和 数 据 字 典 。（ 3） 元 数

21、据 标 准元 数 据 标 准 是 描 述 数 据 资 源 的 具 体 对 象 时 所 有 规 则 的 集 合 ，它 包 括 了 完 整 描 述 一 个 具 体 数 据 对 象 时 所 需 要 的 数 据 项 集 合 。 针对 各 种 信 息 资 源 分 别 制 定 适 当 的 元 数 据 标 准 ， 可 为 信 息 的 管 理 、发 现 和 获 取 提 供 一 种 实 际 而 简 便 的 方 法 ， 从 而 提 高 数 据 交 换 效 率 。 （ 4） 数 据 交 换 标 准为 了 保 证 数 据 共 享 和 交 换 的 顺 利 实 现 ， 必 须 明 确 定 义 和 规 范数 据 交 换 的

22、 相 关 标 准 。 数 据 交 换 的 标 准 规 范 是 集 团 单 位 综 合 信 息平 台 的 核 心 标 准 。 其 中 应 当 包 括 数 据 交 换 内 容 、 数 据 交 换 格 式 、数 据 传 输 方 式 、 各 类 中 心 间 数 据 接 口 的 标 准 化 等 方 面 。 （ 5） 数 据 质 量 标 准由 于 数 据 采 集 任 务 通 常 由 其 他 二 级 平 台 完 成 ， 数 据 治 理 平 台的 标 准 方 法 主 要 集 中 在 数 据 的 加 工 和 管 理 上 。 应 该 重 点 开 发 的 一个 领 域 是 数 据 质 量 控 制 方 法 。 应 当

23、 从 三 个 方 面 对 数 据 质 量 方 法 进行 研 究 ： “ 坏 数 据 ”或 “不 可 靠 数 据 ”的 识 别 ， 错 误 数 据 的 编 辑方 法 ， 以 及 缺 少 值 的 处 理 。4.4 主数据主 数 据 管 理 要 做 的 就 是 从 各 部 门 的 多 个 业 务 系 统 中 整 合 最 核心 的 、 最 需 要 共 享 的 数 据 （ 主 数 据 ）， 集 中 进 行 数 据 的 清 洗 和 丰 富 ，并 且 以 服 务 的 方 式 把 统 一 的 、 完 整 的 、 准 确 的 、 具 有 权 威 性 的 主 数10据 传 送 给 集 团 单 位 范 围 内 需

24、要 使 用 这 些 数 据 的 操 作 型 应 用 系 统 和 分析 型 应 用 系 统 。主 数 据 管 理 的 信 息 流 应 为 ：1) 某 个 业 务 系 统 触 发 对 主 数 据 的 改 动 ；2) 主 数 据 管 理 系 统 将 整 合 之 后 完 整 、 准 确 的 主 数 据 传 送 给 所有 有 关 的 应 用 系 统3) 主 数 据 管 理 系 统 为 决 策 支 持 和 数 据 仓 库 系 统 提 供 准 确 的数 据 源 。因 此 对 于 主 数 据 管 理 要 考 虑 运 用 主 数 据 管 理 系 统 实 现 ， 主 数据 管 理 系 统 的 建 设 ， 要 从

25、建 设 初 期 就 考 虑 整 体 的 平 台 框 架 和 技 术实 现 。4.5 数据质量数 据 质 量 不 高 将 影 响 数 据 仓 库 应 用 程 度 不 高 。 低 下 的 数 据 质量 往 往 造 成 开 发 出 来 的 系 统 与 用 户 的 预 期 大 相 径 庭 ， 数 据 质 量 关系 建 设 有 关 分 析 型 信 息 系 统 成 败 ， 同 时 数 据 资 源 是 集 团 单 位 的 战略 资 源 ， 合 理 有 效 的 使 用 正 确 的 数 据 能 指 导 集 团 单 位 做 出 正 确 的决 策 ， 提 高 省 综 合 竞 争 力 。 不 合 理 的 使 用 不

26、正 确 的 数 据 （ 即 差 的数 据 质 量 ） 可 导 致 决 策 的 失 败 ， 正 可 谓 差 之 毫 厘 、 谬 以 千 里 。数 据 质 量 管 理 包 含 对 数 据 的 绝 对 质 量 管 理 、 过 程 质 量 管 理 。绝 对 质 量 即 数 据 的 真 实 性 、 完 备 性 、 自 治 性 是 数 据 本 身 应 具 有 的属 性 。 过 程 质 量 即 使 用 质 量 、 存 储 质 量 和 传 输 质 量 ， 数 据 的 使 用质 量 是 指 数 据 被 正 确 的 使 用 。 再 正 确 的 数 据 ， 如 果 被 错 误 的 使 用 ，就 不 可 能 得 出 正 确 的 结 论 。 数 据 的 存 贮 质 量 指 数 据 被 安 全 的 存 贮