基于大数据平台的铁路通信网络管理系统优化设计与实现.doc

1、基于大数据平台的铁路通信网络管理系统优化设计与实现摘 要针对目前铁路通信网络管理各系统各自独立，集中存储数据缺乏，无法进行全面检测、统计和管理的现状，提出了铁路通信综合网络平台建设的目标，设计了建设优化的系统架构，并针对某铁路局级综合网络管理中心的需求，进行了方案实现，为满足未来多系统共用大数据平台的需要提供了前期基础。 关键词铁路通信网络 大数据平台 数据分析 中图分类号：U291-39 文献标识码：A 文章编号：1009-914X（2016）07-0029-01 随着中国铁路的高速发展，铁路通信网正迅速发展成为一个集光纤传输、无线传输、自动管理等高度数字化的大型网络1。然就目前而言，铁路通

2、信网各个系统相对独立，无法进行全面监测、统计和管理，更无法为各个系统和系统间的建设和优化提供数据分析2。特别在当前大数据背景下，迫切需要通过综合自动管理技术，对各个系统信息进行综合呈现、综合分析，以便整合铁路资源和业务，为故障预测、预警提供数据基础，为管理决策提供依据，从而实现铁路运营管理方式的现代化。 1.现状铁路通信网络管理存在的问题 受建设历史原因及设备提供商限制，目前铁路网管中心存在二十多套系统，除通信组外，其它系统基本都是相互独立，每套系统只针对各自的传输、设备等进行管理。在我国信息化建设起步晚的大环境下，台账报表的生成、辅助资源的分配、环境动力的布防、撤防及故障处理等很多工作是手工

3、进行，且不能根据故障告警自动生成派工单，技术人员整日忙于电话接打中；告警定位没有直观形象的可视化界面显示，只是给出数字指导，在有限的故障处理时间内，在如驻波的告警处理、光功率的故障处理中不能迅速定位故障，存在匆忙中出错的可能；由于有些系统建设较新，还没有形成丰富的专家知识库及典型案例。大数据技术是当前前沿技术，也是未来信息化发展的方向。但目前通信网管系统缺乏集中存储数据，数据存在散、乱状态，不能为将来的大数据分析提供数据积累，也不能为未来信息化的发展做数据沉淀3-4。 2.铁路通信网管系统建设目标 通过对现有铁路网管系统的整治，完善系统。对目前处于散、乱的数据进行集中存储管理，为将来的大数据分

4、析积累基础数据，并在大数据平台上（Cloudera）进行数据挖掘、关联分析、预测性分析和统计。通过对告警历史数据的回归、关联性分析，预测未来系统可能发生的故障，并定位故障点，提出故障处理意见，在故障处理规定的时间内（如5 分钟内上报，10 分钟处理完毕）指导技术人员快速定位和处理故障。 3.系统架构 3.1 设计概要 为满足大数据平台下的业务需求，设计一种新的硬件架构，以满足多系统共用大数据平台的需求。为此，以某局级铁路用户为例，考虑需新增 x86 服务器，作为 ROSS 系统数据采集解析的服务集群；在 Cloudera大数据平台上，完成数据汇总及数据分析功能。数据存储共用大数据平台的分布式文

5、件系统（HDFS） ，数据分析在 Cloudera 大数据平台上进行。3.2 设备选型及业务逻辑 系统服务器采用多台 x86 虚拟机服务器作为采集服务器集群，使其具备横向扩展能力强、增减容方便、易于管理和监控、可以快速部署上线等特点。 3.3 整体技术方案 该技术方案的核心是 Cloudera 大数据平台。图 3 是大数据平台集群的架构示意。针对本系统，采集/接口服务器、各系统的上层应用服务器均作为 Cline 存在；通过 TCP/IP 网络与大数据平台通信。大数据平台采用 1 个 NameNode 和多个 DataNode 的部署方式，并用 Sqoop 方式作为数据接收接口。 3.3.1 数

6、据采集服务器 数据采集服务器负责历史数据采集，采用 CentOS Linux 操作系统，部署专用的采集及解析软件，其工作模式与传统网管应用采集、解析、入库的方式类似，区别在于传统方式解析文件后写入数据库，而本系统完成文件解析后直接写入 Cloudera Hadoop 中。 3.3.2 大数据平台 （1） 软件设计方案 数据存储采用 HDFS 保存解析后的原始数据文件；数据分析采用MapReduce 作为分析工具；MapReduce 用于大规模数据集（大于 1TB）的并行运算，可以极大地方便编程人员将程序运行在分布式系统上。软件实现可以指定一个 Map 函数，用来把一组键值对映射成一组新的键值对

7、，指定并发的 Reduce 函数用来保证所有映射的键值对中每一个共享相同的键组。 （2） 硬件设计方案 大数据平台存储空间计算见表 2。 即保存到大数据平台的单文件大小为 0.3MB，如需要保留 9 天的数据，如表 2 经计算大数据平台共需要 3.2TB 空间。 （3） 部署方案 依据上述情况，大数据平台应共用 x86 服务器 3 台，采用 1+2 方式部署，其中，1 台服务器作为 NameNode，用于元数据管理，采用双机互备方式保证 NameNode 的高可用性；2 台服务器组成 DataNode 集群，用于元数据存储，元数据存储采用标准的 1+2 方式。单服务器硬件配置为 8核 CPU，

8、32GB 内存、2TB 硬盘。 3.3.3 应用服务器 应用服务器主要功能是针对汇总后的数据提供显示功能。应用服务器可以采用 Linux 服务器+Apache Tomcat 方式提供服务。其与 Hadoop 集群通信主要有如下内容：读取汇总数据，将 Hadoop 处理后的汇总数据读出，用于上层应用的数据计算；读取详情数据，从 Hadoop 中直接读取小时级别数据。 3.3.4 各服务器推荐配置 基于上述配置，各服务器最终配置见表 3。 3.3.5 扩展性 按照以上配置，当整个大数据平台确实由于资源不足导致应用系统受到影响时，大数据平台可以很容易地完成硬件扩容，即只要将新的服务器加入大数据平台集

9、群即可，新加入服务器的数据文件重分配工作会由大数据平台自动完成。 4.功能实现 以上对某局级铁路网管中心提出的需求做了较为全面的方案实现。从实现效果看，前期先解决了目前关心的问题，即通过大数据基础平台的建设，实现了业务数据的全面留存，为相关设备老化更换提供数据基础；实现了业务数据的趋势分析，为设备超预警提供预判基础；为数据多元化分析提供了平台。完成的主要功能有： 4.1 数据管理 对现有通讯系统中的某些端口实时业务数据进行抓取，并对其进行统计分析。包括数据采集和数据分析两个子功能模块。 4.2 故障管理 4.2.1 故障登记 信息中心值班人员可在系统登记各类软硬件故障记录，系统将记录登记人、登

10、记时间等关联信息。 4.2.2 故障分析 系统具有如下范围内的故障统计分析功能： （1）故障查询。根据提供的查询条件实时检索故障明细，查询故障具体情况； （2）故障数量统计。统计选定范围内（时间范围、选定站区）各类故障发生的次数； （3）故障发生趋势。提供某类设施或端口故障发生的趋势，并提前预警。 （4）运行监测。光功率性能监控系统监测光缆线路中的光功率、驻波比、误码率等重要指标，并通过可视化技术，进行直观、全面、便捷地查看，提供查看某设备中各项指标的历史变化曲线供业务人员分析。 5.结束语 本文针对我国铁路通信网络管理系统存在的问题，指出基于大数据平台的铁路通信网络管理系统建设优化设计的必要性，并提出了系统建设目标、架构方案。通过在某局级铁路通信网络管理系统实现，证明具有可行性和普遍参考价值。 参考文献 1.陆红群.铁路通信网向下一代发展的思考J，铁路通信信号，2012，9（4）：33-37 2.贾靖宇，付伟.铁路通信综合网管的提出及应用J，铁道通信信号，2009，45（6）：45-47 3.王令朝.铁路计算机通信网络管理的认识和对策J，铁道通信信号，2010，44（3）：54-56 4 王远波.朔黄铁路通信网络管理系统现状分析J，铁道建筑技术，2006（增）：55-56 作者简介 任俊桦，女，1987 年 4 月生，刘峰，男.