1、智慧交通云平台建设方案目 录目 录1 系统总体设计 .11.1 云计算系统设计方案概述 .11.1.1 系统基本功能 .11.1.2 主要设计思想和设计目标、设计原则 .11.1.3 智慧交通云平台的云计算解决方案 .21.1.4 系统的主要技术特点 .31.2 系统总体构架 .31.2.1 系统基本组成与构架 .31.2.2 系统功能构架 .41.2.3 系统总体构架与功能模块 .71.3 系统基本功能与处理方案 .91.3.1 交管数据入库功能与处理方案 .91.3.2 数据存储功能与处理方案 .101.3.3 查询分析功能与处理方案 .121.4 系统互联与管理 .131.4.1 组网方
2、案 .131.4.2 网络管理 .151.4.3 系统安全 .161.5 系统可靠性与扩展性 .171.5.1 系统可靠性 .17目 录1.5.2 系统扩展性 .191.6 系统设计性能 .201.6.1 交管数据流量处理能力 .201.6.2 数据存储能力 .201.6.3 查询分析计算性能 .211.7 定制开发方案 .222 系统设计实施与关键技术方法 .252.1 系统平台 .252.2 系统规格 .272.3 数据处理流程 .282.4 数据存储系统 .292.4.1 海量数据分布式数据存储构架 .292.4.2 适应应用需求的混合存储策略 .312.4.3 HDFS 数据存储 .3
3、22.4.4 HBase 数据存储 .352.4.5 Database 数据存储 .372.4.6 数据存储的可靠性 .392.4.7 数据压缩 .402.5 数据实时处理、实时查询系统 .412.5.1 数据立方(DataCube) .422.5.2 任务调度器（JobKeeper） .432.5.3 cProc 数据处理 .45目 录2.5.4 交管数据处理流程 .472.5.5 交管数据处理步骤 .482.6 交管数据处理集群的可靠性与负载均衡设计 .492.6.1 负载均衡处理机的单点失效容错处理 .492.6.2 查询处理机的单点失效容错处理 .522.7 计算与存储集群的可靠性与负
4、载均衡设计 .532.7.1 计算与存储集群 Master 单点失效容错处理 .532.7.2 计算与存储集群的负载均衡处理 .592.7.3 HDFS 的可靠性设计 .622.7.4 HBase 可靠性设计 .642.7.5 MapReduce 计算可靠性设计 .652.8 查询统计计算可靠性与负载均衡设计 .682.8.1 基于 Zookeeper 的单点失效和负载均衡设计 .682.9 系统安全性设计 .702.9.1 安全保障体系框架 .702.9.2 云计算平台的多级信任保护 .722.9.3 基于多级信任保护的访问控制 .762.9.4 云平台安全审计 .782.9.5 云计算综合
5、安全网关 .81图表 1 智慧交通云平台云计算解决方案 .2图表 3 智慧交通云平台总体构架与功能模块图 .7目 录图表 4 智慧交通云平台架构 .9图表 5 数据存储处理架构 .11图表 6 交管数据接入 .12图表 7 组网方案 .13图表 8 分布式文件存储系统吞吐量指标 .20图表 10 数据汇总上报处理流程 .27图表 11 实时数据入库流程 .28图表 12 分布式计算流程 .29图表 13 Hadoop 结构 .30图表 14 Hdfs 结构 .33图表 15 HDFS Namenode、DataNode 和客户端们之间的交互 .34图表 16 HDFS 数据压缩与组织 .40图
6、表 21 负载均衡机分布图 .48图表 22 负载均衡机宕机预案 .48图表 23 Master 节点宕机预案 .49图表 24 查询处理单点失效容错处理 .50图表 25 Master 单点失效容错处理 .51图表 26 AvatarNode0 以 Pimary 启动过程 .53图表 27 AvatarNode1 以 Standby 启动过程 .54图表 28 DataNode 启动过程 .54图表 29 AvatarNode0 宕机后的状态 .55图表 30 AvatarNode1 切换为 Primary 过程 .55图表 31 AvatarNode0 重启过程 .56目 录图表 32 A
7、vatarNode 启动切换流程图 .57图表 33 Avatar 体系架构图 .60图表 34 HBase 系统架构 .62图表 35 作业提交 .65图表 36 JobTracker0 宕机 .65图表 37 作业注销 .66图表 38 Zookeeper 基本工作结构图 .66图表 39 基于 Zookeeper 的查询分析计算单点失效和 .68图表 40 基于深度防护战略的 IATF 模型 .68图表 41 云部署模型的实现 .69图表 42 多级信任保护 .70图表 43 基于可信第三方的平台认证 .71图表 44 主要因素平台证书 .71图表 45 云存储安全子系统接口关系图 .7
8、4图表 46 基于多级信任保护的多级访问控制流程 .75图表 47 数据安全交换平台 .75图表 48 云存储安全审计体系结构 .77图表 49 安全日志审计系统结构图 .78图表 50 Cloud-USG 三种部署模式 .81系统总体设计1 / 109南京云创大数据科技股份有限公司 2015-9-91 系统总体设计1.1 云计算系统设计方案概述1.1.1 系统基本功能按照全省公安机关信息化建设总体规划，为实现对重点车辆的自动比对和动态管控、对异常车辆行踪的自动研判预警、对特定车辆行车轨迹的自动生成、对重要节点道路交通信息的远程再现、对基层单位和执勤民警的勤务实施管理等建设目标，为交通管理、治
9、安管控、侦查破案、巡逻防范、反恐处突等各项公安工作提供服务保障。系统的基本功能和性能如下：海量数据存储能够对百亿级的海量交通监控数据进行存储，保存时间为 2 年。海量数据实时处理、实时入库、生成索引能够对百亿级的海量交通监控数据进行实时处理，能够处理每天 500 万条记录，能够实时处理约 60 条/秒的实时数据流量。百亿级数据秒级查询能力、秒级实时业务响应高效实时数据查询架构，提供秒级响应时间，1 天的记录能在 5 秒钟内查询出来，一周记录能在 15 秒内查询出来。1.1.2 主要设计思想和设计目标、设计原则设计思想：将海量数据分解到由大量 X86 架构计算机构成的低成本云计算平台上进行实时处
10、理，依靠分布式云计算软件进行容错，从而提升智慧交通云平台海量数据分析的实时性和性价比。系统总体设计2 / 109南京云创大数据科技股份有限公司 2015-9-9设计目标：利用大量性价比高的计算机，建立云计算平台，能够对流量超过 500w 条/天的原始交通监控数据流进行实时处理。系统具有可动态可伸缩性、高度容错性和响应实时性，达到较之传统方案有一个数据量级的性能价格比提升。设计原则：（1）前瞻性技术与实际应用环境相结合本项目是既是先进技术应用示范项目，又是工程实施型项目。把握技术正确性和先进性是前提，但是前瞻性技术实施必须在云计算平台的实际应用环境和实际监控流量的基础上进行，必须结合云计算平台的
11、实际情况进行研究和开发，只有与实际应用环境相结合才有实际应用价值。（2）学习借鉴国外先进技术与自主创新相结合在云计算平台用于超大规模数据处理方面，国内外几乎是在一个起跑线上；但在关键技术研究及既往的技术积累方面，国外一些大公司有着明显的优势。同时，智慧交通云平台所将要面对的交通监控数据流高达 500w 条/天，是一个世界级的云计算应用。我们将积极学习借鉴国外先进的云计算技术，同时与自主创新相结合，形成功能强大、性能卓越的能够满足实际应用环境需求的云计算数据处理和分析平台。（3）遵循公安 320 工程相关标准规范本项目的设计将严格遵循公安 320 工程相关标准规范。1.1.3 智慧交通云平台的云
12、计算解决方案在公安网内部，构建若干 X86 架构计算/存储节点，虚拟出海量存储空间、系统总体设计3 / 109南京云创大数据科技股份有限公司 2015-9-9处理能力和数据管理能力。同时研制面向应用的分布式数据处理软件，满足数据汇总、数据上报、数据入库、数据查询、数据计算和数据管理等应用需求。图表 1 智慧交通云平台云计算解决方案1.1.4 系统的主要技术特点实时性：平台在高效率并行分布式软件的支撑下，可以实时完成交管数据入库、分析和管理工作，如数据汇总、数据上报、数据入库、数据查询、数据计算和数据管理等。海量数据入库不会出现数据堆积现象，各类分析和查询工作基本都在秒级完成，具有前所未有的高效
13、性。高可靠性：基于对云计算可靠性深厚的研究积累，彻底解决了当前分布式计算平台易出现的单点故障问题。任何一个节点出现故障，系统将自动屏蔽，而且不会出现丢失数据的现象。包括查询任务分配节点、计算任务分配节点、HDFS 元数据节点、HDFS 数据存储节点、MapReduce Job Tracker 节点、MapReduce Worker 节点、HBase 管理节点、HBase Region 节点等。系统总体设计4 / 109南京云创大数据科技股份有限公司 2015-9-9可伸缩性：在不停机的情况下，增加节点，平台的处理能力自动增加；减少节点，平台的处理能力自动缩减。这样，可以做到与云计算平台的无缝对
14、接，根据计算和存储任务动态地申请或释放资源，最大限度地提高资源利用率。高性价比：采用 X86 架构廉价计算机构建云计算平台，用软件容错替代硬件容错，大大节省成本。在目标性能和可靠性条件下，可比传统的小型机加商用数据库方案节省 10 倍左右的成本。全业务支持：采用分布式数据库模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库中，可支撑各种类型的业务。不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘和商业智能分析业务。1.2 系统总体构架1.2.1 系统基本组成与构架智慧交通云平台是一个处于交管数据采集与交管数据监测应用之间的系统。从系统基本组成与构架上来看，该共享平台由 7 个主要部分组成：历史数据汇总处理系统，上报数据上报系统，实时数据入库系统，交管数据存储系统，交管数据查询分析应用系统，数据管理系统以及系统管理。1.2.2 系统功能构架智慧交通云平台需要提供的 7 大主要功能描述如下。
