DataStage企业版产品白皮书之三.doc

1、统一数据交换池项目ETL 工具软件及产品现场支持服务竞争性谈判提交文件之六.二.三MetaStage 白皮书北京先进数通信息技术有限公司2004 年 10 月 21 日目 录本文件涉及信息为北京先进数通信息技术有限公司专有信息，敬请视同机密文件处理。除因需要而得到授权的中国建设银行及本公司有关人员外，请勿以任何形式向他人或任何第三方透露。中国建设银行统一数据交换池项目-产品白皮书第 2 页1. 关于 MetaStage .32. 集成元数据 .43. 捕捉操作型元数据 .54. 共享元数据 .65. 资源分析和报表 .76. 查看对象 .87. 流览对象 .98. 执行简单的检索 .109.

2、调查数据世系 .1110. 执行 Process Analysis.1111. 执行 Impact Analysis.1212. 执行查询 .1213. 建立元数据文档 .1314. National Language Support.1315. MetaStage 安全 .1316. MetaStage 组件 .1517. MetaStage 目录 .1617.1 查看目录 .1618. MetaBrokers.1719. MetaStage 管理员 .1819.1 MetaArchitect .1819.2 Process MetaBroker.1819.3 MetaStage Explo

3、rer .1920. 同时使用 DataStage 与 MetaStage .2021. 同时使用 QualityStage 与 MetaStage.2022. 管理数据集成项目中的元数据 .21这个文档描述了 MetaStage 的特征，以及 MetaStage 为数据集成项目管理人员中国建设银行统一数据交换池项目-产品白皮书第 3 页和用户带来的好处。本文概要介绍了 MetaStage 架构，描述了主要的客户机和服务器组件。 1. 关于 MetaStage通过协调整个企业范围内的元数据，MetaStage 可以帮助用户处置、管理和有效地利用自己的数据集成项目，处理数据集成项目中与数据迁移和

4、使用的工具有关的元数据。MetaStage 将元数据的控制权交给用户，使用户知道： 什么是元数据？ 元数据位于哪里？ 元数据来自哪里？ 这些元数据与什么相关？ 谁负责这些元数据？ 这些元数据与公司的那些术语、词汇和业务域相关联？ 对元数据所作的任何变动将产生什么连带的影响？ 当把它们导出到另一个工具时，其属性及关系将是什么？不管数据集成的架构如何，MetaStage 使用户能够开发一个高质量的企业数据源，在此基础上，用户可以真正地控制元数据的集成和共享。MetaStage 可以帮助用户从 DataStage 作业和其他数据迁移处理过程中集成元数据。MetaStage Process MetaB

5、roker 将监控这些生成操作型元数据的处理过程。然后，MetaStage 将存储和使用这些操作型的元数据，为用户提供在整个企业范围内将会发生何种变化的详细信息（来自 DataStage 主机 (Mainframe) 作业的操作型元数据可以直接发送到 MetaStage，而不必使用 Process MetaBroker） 。在大多数的数据设计中，数据迁移和 商务智能 产品在生成自己的元数据时，没有共同的元数据交换准可循。MetaStage 使用户能够把元数据集成到一个中心目录，中国建设银行统一数据交换池项目-产品白皮书第 4 页利用这个目录与其他工具共享元数据无须工具供应商再做额外的工作。 这

6、意味着用户可以在一个环境中使用不相关的产品。通过集成整个企业范围内的元数据，MetaStage 能够回答诸如“数据向来自哪里？采用的是什么转换和业务规则？谁在使用该数据？以及对数据集成项目所作的一个特定变动将会产生什么影响？”等问题。MetaStage 也能快速地提供以超连接形式标记的详细数据项、以及该数据项与其他数据的关系的报表。总而言之，作为一个企业范围的工具，MetaStage 提供许多数据集成功能： 从各种相关的工具中同步和集成元数据； 自动地从操作型的系统中收集操作型的元数据； 共享元数据、作业组件和设计； 从一个单点处可以对作为集成资产的所有元数据进行浏览、查询、检索和制作报表；

7、了解项目中数据的来源、出处和意义； 评估改变数据操作处理过程时将会产生的影响； 下面将分专题进一步介绍这些功能。2. 集成元数据用户可以把自己的工具和过程集成到 MetaStage 中。这使用户能够在不同的外部工具（包括建模、设计、抽取、转换和数据分析等工具）之间传输和转化元数据。例如，用户可以利用这些工具收集元数据，使用它们设计数据集成处理过程。也可以把元数据直接导到数据分析工具，以避免冗长乏味的手工数据录入。MetaStage 并不强求对准备共享的元数据采用单一的通用模型。对于数据集成工具可以共享的元数据，一个通用模型只能为用户提供一个最低的共同关注点。与此相反，MetaStage 却可以

8、利用数据集成工具把元数据分解成原子语义单位 ，然后再重构以便其他数据集成工具使用。单个 MetaBrokers 可以为每个工具之间提供一个界中国建设银行统一数据交换池项目-产品白皮书第 5 页面，以便其查看存储在目录中的元数据以及元数据的语义单位。MetaStage 可以捕捉各种元数据，其中包括： 设计元数据：是设计者和开发人员用于定义需求的元数据，它包括数据模型、业务元数据和转换作业设计。 物理元数据：是利用工具执行时建立、管理和访问的元数据。 操作型元数据：在执行数据集成活动时，操作型元数据将告诉用户会发生什么变动，特别是有关它影响数据集成源的方式。 项目元数据：用于制作文档，审计开发成果

9、、分派责任人以及处理变动管理事项。 面向：操作人、责任人、工具用户和管理层。注意： 在本文档中，物理元数据和设计元数据均简称作元数据。MetaStage 使用 MetaBrokers 直接从数据集成工具中导入和导出这样的数据。3. 捕捉操作型元数据MetaStage 能够自动地捕捉描述数据集成处理过程正在运行时产生的事件的元数据。MetaStage 使用这种操作型的元数据，建立数据集成过程中各种数据源之间的关系的视图。在这些处理过程中，通过组合操作型元数据与设计元数据，MetaStage 提供功能强大的查询能力。中国建设银行统一数据交换池项目-产品白皮书第 6 页上图展示了一个运行的 Data

10、Stage 作业以及与该作业相关的所有事件。当作业开始处理时，作业中的每个连接都产生一个操作事件。另外，图中也展示了涉及到的每个软件资源。操作型元数据不仅展示事件，而且也能帮助确定数据世系。4. 共享元数据MetaStage 使用户能够利用主要的数据集成工具，共享整个企业范围内的元数据。主要步骤如下：1. 使用适当的工具建立元数据，例如，DataStage、Cognos 或 Erwin；2. 通过与工具有关的 MetaBroker，或利用 Process MetaBroker 的捕捉功能，把元数据导入 MetaStage；3. 发布选择的元数据，以便感兴趣的用户能够订阅，并把元数据导出，供适当

11、的数据集成工具使用（这些工具不一定必须与建立元数据时使用的工具相同）。例如，用户可以从数据库设计工具中把元数据导入 MetaStage 目录，然后从中导出元数据，接着再导入 DataStage，以定义 DataStage 作业将录入数据的数据中国建设银行统一数据交换池项目-产品白皮书第 7 页库的表和列。另外，也可以导出元数据供业务报表生成工具使用，如 Business Objects 或 Cognos。用户还可以使用 “Send to Database” 功能，把元数据导入 MetaStage 目录中的一组关系表。下图展示了一个从 Erwin 中导入元数据的过程。5. 资源分析和报表把元数据

12、导入 MetaStage 目录，或在数据集成活动中捕捉了操作型元数据之后，按照对象间的关系，用户可以浏览、查询或检索目录中完整的元数据结构。这些功能都是从 MetaStage Explorer 中可以访问的。用户可以： 检查目录中一个或多个对象的属性及关系； 指定哪一个人或组织负责某个对象； 建立对象与业务术语、术语与词汇，以及词汇与业务域之间的关联关系； 从一个对象开始，再按照对象与它包含的或依赖的其他对象之间的关系，递进式的进行浏览； 对目录进行简单的检索； 调查数据集成项目中数据的世系关系； 审查进程（如 DataStage 作业）的执行历史；中国建设银行统一数据交换池项目-产品白皮书第

13、 8 页 使用跨工具 Impact Analysis （影响分析）调查改变数据集成源或处理过程造成的影响； 建立和运行针对更复杂的检索而定制的、预定义的查询； 通过建立各种格式（包括 HTML 和 XML）的报表，制作元数据文档。6. 查看对象MetaStage 使用户能够很容易地查看 MetaStage 目录（DataStage 表定义）中的任何对象，例如，查看对象的属性及关系、对象在其他数据集成工具中的重叠，以及能够运行生成有关对象更多信息的查询和模板。中国建设银行统一数据交换池项目-产品白皮书第 9 页7. 流览对象在 MetaStage Content Browser（内容浏览器）中，使用资源管理器式的导航窗口界面，用户可以从任何元数据对象，如 某个 DataStage 项目开始，按照包含或依赖关系，从上到下，逐层浏览这些关系涉及到的所有对象。用户也可以从不同数据集成工具的角度（使用不同的 MetaBroker 视图） ，按照相应工具中可用的不同关联关系，显示同一对象。 中国建设银行统一数据交换池项目-产品白皮书第 10 页8. 执行简单的检索简单检索使用户能够从 MetaStage 目录的一个子集中，查询满足基于名字、描述、日期和元数据类型的检索准则的对象。可以把检索到的对象的属性保存到一个文本文件，例如，一个 Microsoft Excel 能够读的文件中。