数据整合方案12页.docx

1. 信息资源标准化数据标准化主要实现了数据格式、内容和语义的映射、转换，实现编码一致化、面向主题集成、数据聚合等功能。通过数据交换、采集，形成的基础业务数据，通过数据整合进一步的数据ETL（数据抽取、转换、加载），按照定制的标准信息规范进行匹配映射（Match）、数据格式转换（Transform），并对重复数据进行数据清洗（Cleanse）、过滤（Filtrate）、聚合（Aggregate），最后多维加载（Load）后形成标准化数据。采用数据同步工具和ETL工具完成数据抽取、同步等整合工作，并通过任务调度管理实现对整合工具的集中管理和执行。数据采集时可以按信息资源平台的要求将数据标准化。在采集抽取数据时没有按信息资源平台转换为标准数据的数据，需要按信息资源平台的要求转换成标准的数据如字典的统一。2. 数据加工管理2.1.数据抽取数据抽取是利用抽