制造业MES产线IoT平台架构.docx

1、1制造业 MES 产线 IoT 平台架构Oracle 全数据和云存储方案2对于大多数的制造企业来说，在快速发展的同时对大量数据进行访问、分析及管理越来越关键。许多制造企业都在增强制造质量的同时寻找提升缺陷跟踪及对完善供应链的优化能力，从而改善其整体的运营效率。全数据解决方案可以帮助提高制造及运营效率，同时提供对公司运作的全方位观察，从而引导更好更及时的决策。以全数据为基础的架构可以让企业有能力分析各类数据源以获得更好的洞察。这会开拓企业的分析及预测选项，并会取得更好的成果。Oracle 是企业级解决方案的领导者，在企业纷纷思考大数据如何转换为价值的过程中， Oracle也在结合自己的经验和能力

2、思考，并且总结出了全数据管理解决方案。即对于结构化数据，Oracle建议采用关系型数据库来处理，其技术非常成熟，生态环境也比较完善。而对于非结构化数据，考虑到未来技术的发展和成本等因素，可以考虑基于 Hadoop/NoSQL 来处理，同时将关系型数据库成熟的经验和技术扩展到新技术平台。全数据管理平台构建模式应该是关系型数据库和Hadoop/NoSQL 相结合，在企业级产品方面 Oracle 推出了 Exadata + BDA 的一整套全数据解决方案。Oracle Exadata 数据库云平台采用集成设计，旨在为 Oracle 数据库提供卓越的性能、极好的成本效益和极高的可用性。Exadata

3、可以运行所有类型的数据库负载，包括联机事务处理 (OLTP)、数据仓库 (DW)、内存中分析以及各种混合负载。Oracle BDA 大数据机是一个灵活、高性能安全的平台，用于在 Hadoop、Kafka 和 NoSQL 系统上运行不同的负载。凭借 Oracle Big Data SQL，BDA 将 Oracle 行业领先的 SQL 实现扩展至Hadoop/ NoSQL 和 Kafka 系统。BDA 将 Hadoop 生态系统的最新技术和强大的 Oracle SQL 功3能整合到一个预先配置的平台上，因而支持快速开发新的大数据应用程序，支持与现有关系型数据紧密集成，这在业界堪称独一无二。Orac

4、le 存储云服务为您提供了一个通过互联网存储、管理和使用大量非结构化数据的易用的解决方案。您的应用程序可以使用 OpenStack Swift 兼容的 REST API 或 Java API 以编程方式访问 Oracle 存储云服务。您可以使用基于 web 的图形控制台监视关键存储量度并管理用户和角色。下面以一个真实的案例向您介绍如何通过 ORACLE 全数据平台 + Cloud 存储混合云架构设计，构建一个制造业 MES 产线 IoT 平台。1. 典型案例 某制造业 MES 产品检测系统大数据需求分析1.1. 数据源分析 MES 产品检测系统测试数据分为两类： SUMMARY 概要数据 DE

5、TAIL 详细数据o LOGFILE 日志文件o IMAGE 测试图片文件 数据按 RETENTION 分类4 超热数据：当前生产数据：1 天以内 热数据： 1 天至 1 月 温数据： 1 月至 6 月 冷数据： 6 月以上至 2 年 具体数据分析如下：SUMMARY LOGFILE IMAGE定义 测试数据的概要信息测试日志文件（测试数据的详细信息）测试图片文件（测试数据的详细信息）格式 结构化数据 结构化数据 非结构化数据数据大小（每条）10KB 50KB 5MB产生数量/分钟 1000 条 10 万条 1000 条数据量/分钟数据量/天数据量/月数据量/半年数据量/年10 MB14.4

6、GB432 GB2.592 TB5.184 TB5 GB7.2 TB216 TB1.296 PB2.592 PB 5 GB7.2 TB216 TB1.296 PB2.592 PB数据访问性能 构建企业级 IoT 平台72.1. 超热数据处理阶段 不超过一天的超热数据（SUMMARY 与 LOGFILE 中间表数据）由 EXADATA + ORACLE 12c 实现快速处理，尤其是大量的 JOIN 操作。 Exadata 所特有的 SMART SCAN、大容量智能缓存等功能，以及 Oracle 12C 的 IN MEMORY 列式内存计算、分区等功能可以实现非常高效地处理超热数据。2.2. 热/

7、温数据处理阶段 Oracle 中的 SUMMARY/LOGFILE 中间表数据实时同步至 BDA 大数据一体机平台 文件导入至 BDA 中的 HDFS, 表 METADATA 存储至 HIVE 导入工具为 OGG BDA 存储半年以内的热/温数据 超出半年以外的 LOGFILE 数据则归档至公有云存储82.3. 冷数据处理阶段 BDA 大数据一体机中超出半年以外的 LOGFILE 数据归档至公有云 IMAGE 数据归档至公有云2.4. BDA 方案整体架构图9基于客户需求理解，ORACLE 建议如下：超热数据的处理由 Exadata 来处理；Summary 和 Log 文件都可以存放于 BDA

8、 中，由于Summary 文件较小，且包含 Log 文件的访问信息，Summary 文件一直存放在 BDA 中；Log 文件冷数据归档窗口保持为 6 个月。整体方案架构图如下：10说明：1 实时同步通过 OracleGolden Gate 进行实时同步。OGG 可以按照配置将更新的记录同步到HDFS 中的文件，并且可以指定文件分割的大小。2 用户可以直接通过 ClouderaHadoop 平台进行数据访问，例如 Impala、Hive 等。同时考虑到现有人员技能复用，也可以通过任何一个 Oracle 12c 实例，通过 Oracle Big Data SQL 即可沿用Oracle 数据库平台上

9、的 DBA 管理和访问方法。3 Summary 一直保存在 BDA 中，根据 Summary 中文件的 URI 可以定位到公有云中的文件，需要的时候可以将文件从公有云中恢复和下载到本地的 BDA 中进行查询。IMAGE 文件一直归档至公有云。4 Oracle 云中数据湖解决方案可以提供灵活的 Hadoop 集群云服务，通过 Openstack Swift 协议或者基于内存的大数据文件协议（BDFS ）直接将 Oracle 存储云上的数据映射成 Hive 表通过 SQL进行查询访问和分析，未来冷数据的批量查询分析可以通过该方式实现，分析结果再返回本地使用，提升云中海量数据综合分析能力，减少海量数据在本地和云中频繁移动。3. 总结通过采用全数据平台（Exadata +BDA）与归档云存储的混合架构，再加上 GoldenGate 实时的集成技术以及 Big Data SQL、Big Data Connect、R 等一系列大数据技术，可分别快速有效地处理大数据处理的不同阶段、不同类型数据。该架构具体优势体现如下：