1、 中 国 移 动 通 信 企 业 标 准QB-X-001-2006中国移动省级经营分析系统数据质量管理系统建设方案（v1.5）中国移动通信有限公司发布发 布 2006 版 本 号 ： 1.5 2006 实 施目录1. 概述 51.1. 背景 51.2. 适用范围 51.3. 引用标准 51.4. 起草单位 51.5. 解释权 51.6. 符号和缩略语 61.7. 术语和定义 62. 总体说明 82.1. 数据质量含义 82.2. 主要内容 82.3. 系统建设目标 92.4. 实施建议 93. 数据质量管理需求 113.1. 数据质量问题 113.2. 系统实施定位 154. 系统架构 164
2、.1. 系统体系 164.2. 源系统层 164.3. 存储层 174.3.1. 元数据存储 .174.3.1.1. 业务元数据 174.3.1.2. 技术元数据 184.3.1.3. 管理元数据 224.3.2. 质量稽核过程信息 .224.4. 功能层 234.4.1. 元数据支撑功能 .234.4.1.1. 元数据维护 234.4.1.2. 同步检查 244.4.1.3. 模板化导入/导出 254.4.1.4. 实体查询 264.4.1.5. 过程查询 264.4.1.6. 实体活力分析 264.4.1.7. 过程追溯 264.4.1.8. 过程追踪 274.4.2. 质量检查基本功能
3、.274.4.2.1. 数据稽核 274.4.2.2. 处理过程检查 304.4.2.3. 处理环境检查 304.4.2.4. 稽核配置管理 314.4.3. 辅助功能 .314.4.3.1. 告警处理 314.4.3.2. 问题管理 314.4.3.3. 数据质量知识库管理 324.4.3.4. 系统管理 334.5. 应用层 334.5.1. 信息地图 .334.5.2. 数据质量评估 .344.5.3. 接口数据异常分析 .364.5.4. 指标一致性分析 .404.5.5. 需求变更影响评估 .434.5.6. 项目管理支撑应用 .455. 数据质量管理流程 475.1. 概述 475
4、.2. 管理机制 475.2.1. 组织机构职责 .475.2.1.1. 角色与职责 475.2.2. 相关外部组织 .505.3. 质量控制流程 505.3.1. 需求变更控制流程 .515.3.2. 数据质量问题处理流程 .525.3.3. 指标口径及业务规则问题处理流程 .545.3.4. 元数据变更维护流程 .575.3.5. 错误数据维护流程 .585.4. 质量检查 605.4.1. 管理流程检查 .605.4.2. 元数据质量检查 .615.4.2.1. 及时性检查 615.4.2.2. 完整性检查 625.4.2.3. 准确性检查 626. 系统管理 636.1. 概述 636
5、.2. 系统安全管理 646.2.1. 系统的监控与告警 .646.2.1.1. 监控的对象 646.2.1.2. 监控的要求 646.2.1.3. 监控的实施 656.2.2. 系统登录认证管理 .656.2.2.1. 帐户管理 656.2.2.2. 登录管理 666.2.3. 系统审计与日志管理 .666.2.3.1. 操作日志管理 666.2.3.2. 系统日志管理 676.2.4. 系统备份与恢复管理 .676.2.4.1. 数据备份 686.2.4.2. 数据恢复 696.3. 系统版本管理 706.4. 系统访问控制管理 716.4.1. 用户管理 .716.4.2. 角色管理 .
6、726.4.3. 权限管理 .731. 概述1.1.背景中国移动省级经营分析系统（以下简称为省级经营分析系统）经过多年建设，已经初步完成数据整合工作。随着省级经营分析系统价值的不断显现与稳步提升，以及 IT 系统安全管理、风险内部控制等重大管理举措的实施，各省公司对省级经营分析系统如何保障数据质量提出了更高要求。为更好地及时分析、查找、评估和解决省级经营分析系统各环节的数据质量问题，保证数据质量的稳定可靠，需要构建一套经营分析系统内部控制的管理体系，为数据质量管理工作提供强有力的系统支撑。1.2.适用范围本方案适用于中国移动省级经营分析系统数据质量管理系统的建设。1.3.引用标准中国移动经营分
7、析系统元数据管理规范 V1.0中国移动省级经营分析系统数据质量控制指导意见1.4.起草单位本方案由中国移动通信有限公司负责起草。1.5.解释权本方案的增补、修订及解释权属中国移动通信有限公司。1.6.符号和缩略语缩写 英文描述 中文描述BOSS Business&OperationSupportSystem 业务运营支撑系统ODS OperationalDataStore 操作型数据存储缩写 英文描述 中文描述CORBA CommonObjectRequestBrokerArchitecture公共对象请求代理体系结构CORBAIDL CORBAInterfaceDefinitionLangu
8、ageCORBA 接口定义语言CWM CommonWarehouseMetamodel 公共仓库元模型ETL Extraction&Transformation&Loading 抽取、转换和加载JMI JavaMetadataInterface Java 元数据接口OLAP On-lineAnalysisProcess 在线分析处理XMI XMLMetadataInterchange XML 元数据交换1.7.术语和定义序号 名词 解释1 元数据是描述经营分析系统中数据的数据，为数据质量管理等业务功能提供信息支撑。2 技术元数据技术元数据包含关于经营分析系统数据技术层面的信息，描述了数据源、E
9、TL、数据仓库和数据集市、OLAP、一经接口等子系统的数据特征。3 业务元数据业务元数据用业务术语、名称、定义来描述经营分析系统中的各种业务信息，供业务人员使用。4 管理元数据管理元数据主要是指经营分析系统日常建设过程中，涉及开发、运维等管理流程的基本信息。5 CWMCWM 标准是 OMG 组织定义的数据仓库和相关系统的国际元数据标准，CWM 标准的目的在于使得数据仓库和商业智能软件的元数据在分布异构的数据分析工具，数据仓库平台，元数据存储等系统之间交互。6 信息地图信息地图是在元数据基本功能基础上对经营分析基础元数据信息的全局、多视角的展现。2. 总体说明2.1.数据质量含义在不同时期，经营
10、分析系统对数据质量有不同的概念和标准，早期对数据质量的标准基本上是以提高数据准确性为出发点，但随着系统功能和定位的不断延伸，用户关心的重点逐步由数据准确性扩展至合法性、一致性等方面，这些内容也属于数据质量的范畴。根据中国移动省级经营分析系统前期的建设经验，经营分析系统关注的数据质量问题主要包括以下几个方面内容：1. 数据质量的六大基本要素是否满足，所谓六大基本要素是指： 完整性：主要包括实体缺失、属性缺失、记录缺失和字段值缺失四个方面； 唯一性：指主键唯一和候选键唯一两个方面； 一致性：指统一的数据来源、冗余存储和统一的数据口径； 精确度：指计量误差、度量单位等方面的精确度； 合法性：主要包括
11、格式、类型、域值和业务规则的有效性； 及时性：指数据刷新、修改和提取等的及时性和快速性。2. 如何从用户视角衡量数据质量，重视用户对数据的满意程度；3. 如何通过建立有效的数据质量管理体系保障和提升数据的价值。2.2.主要内容本方案贯穿了省级经营分析系统数据质量管理系统建设的全过程。描述了经营分析系统数据质量管理需求及范围，描述了数据质量管理体系总体应用框架，明确了数据质量管理系统中的元数据功能，确定了数据质量管理功能和流程。本方案的附件附件 1 省级经营分析系统元数据管理功能实现同时给出了元数据管理相关建设步骤的参考，包括省级元数据库存储逻辑模型、省级元数据库的访问接口实现方法、元数据管理工
12、具选型参考标准等，为元数据管理功能的建设提供参考依据。2.3.系统建设目标为解决数据质量管理问题，有限公司制定了省级经营分析系统数据质量管理系统建设方案 （以下简称方案 ） ，指导和规范各省经营分析系统数据质量管理系统的建设和工程实施。本方案借鉴了先期元数据试点省份的建设经验，同时参考了经营分析系统元数据管理规范 V1.0和 OMG 组织的 CWM 国际标准等文献，规划重点实现以下建设目标：1. 建立贯穿经营分析系统各环节的数据质量保证机制，完善系统审计、稽核功能，为分析应用结果提供数据质量保障：a) 对纳入系统管理的数据实体和数据处理过程建立有效的监控机制，提供全面及时的数据告警，控制预防错
13、误范围的扩大；b) 与源系统数据质量相互验证，分析源系统事件，监控业务数据合理性，对源系统的部分数据起到一定的检查作用；c) 将数据质量管理落实到各环节的可检查项中，实现流程化管理，提供常见问题的自动处理方法；2. 建设数据质量管理体系中符合 CWM 标准的元数据管理平台，为全网经营分析数据质量管理体系的建设、扩充和数据交换打下基础；3. 逐步丰富数据质量问题知识库，实现知识共享。2.4.实施建议本方案是省级经营分析系统数据质量管理系统规划和建设的基本指导，各省在实施过程中，可根据实际需要以本方案为基础进行扩充与细化。建议如下：1. 在建立数据质量管理系统后，需要建立配套的管理机制，确保有专人依照流程对数据质量问题进行管理和维护；2. 元数据管理是本次经营分析数据质量管理系统的重要功能，是将来实现元数据交换的基础。元数据提供了对数据本身的描述，是关于数据的数据，主要包括技术元数据、业务元数据和管理元数据。各省在遵循
