1、基于云计算的山东黄河水情预测探索研究李凯 王前 马德辉 (山东黄河信息中心,山东 济南 250013)摘要：云计算（Cloud computing） ，云计算是分布式处理（Distributed Computing） 、并行处理（Parallel Computing）和网格计算（Grid Computing）的发展，透过网络将庞大的计算处理程序，自动拆分成无数个较小的程序，再交给由多台服务器所组成的庞大系统，经搜寻，计算分析之后，将处理结果回传给用户。本文依托云计算，采用马斯京根(Muskingum)法分河段连续演算来预测山东黄河水情，为山东黄河地区防汛抗旱、水量调度的科学决策提供技术支撑。关
2、键词：云计算；分布式处理；并行处理；网格计算；马斯京根法；1 引言山东黄河地处黄河下游，历来是黄河防汛的重点。如何充分的利用先进的科学技术，整合现有的资源来预测黄河下游水情，为黄河防汛抗旱决策提供技术支撑，保证黄河安澜是重中之重的问题。随着技术的不断发展，信息采集设备的不断完善，导致数据激增，IT 系统负担加重；地域分隔，信息孤岛拉低效能；实时分析能力差，海量数据处理效率低；标准各异，数据规范有待统一。这些问题都严重制约了山东黄河水情预测技术的发展。因此需制定短期和长期技术规划，以适应未来信息系统的发展，解决跨平台异构应用系统的数据共享与集成问题。因此本文引入云计算技术，消除各业务系统和各组织
3、结构之间的信息孤岛，获取黄河数据资源的单一视图，确保数据的完整性、及时性、准确性和一致性，同时实现元数据的可视化统一管理，满足高并发、实时动态获取和更新数据、海量数据的高效率存储和访问、高可扩展性和高可用性等需求，有效的提高山东黄河水情预测的准确性和时效性。目前，山东黄河广域网已经形成省、市、县三级体系结构，已经具备部署以分布式存储和并行计算为主要特点的云计算平台。为此，本文探讨在云计算的框架下，利用马斯京根法来预测黄河下游水情。2 山东黄河水情预测的基本理论河道洪水演算可采用水力学和水文学两类方法。水力学方法以圣维南(St.Vennant)方程组的求解为基础，在有较准确的河道地形和河床观察数
4、据的河段已成为一种重要方法，但在资料条件缺乏，要求快速计算时，简便易行又有一定精度的水文学方法是洪水演算的重要方法。在水文学中马斯京根(Muskingum)法（参考文献 1）是河道洪水演算中广泛应用的方法，其模型如下：IOdW/dt (1)WKxI+(1-x)OKQ (2)式中：I 为河段上段面入流量；O 为河段下段面出流量；W 为河段的槽蓄量；K 为槽蓄系数，具有时间因次；x 为流量比重因子，无因次；Q为示储流量；t 为时间。上式中的 K相当于洪水波在河段中的传播时间；x 主要与洪水波的坦化变形程度有关，且其值不可能大于 0.5.同一条河道的马斯京根参数不是唯一的，而是随着不同场次洪水的洪峰
5、流量、流速、洪水总量等诸多因素动态变化，马斯京根模型参数不应只采用一场洪水或多场洪水估计的平均值，而是应该实行参数的实时动态估计。 基本原理是根据洪水资料，将所有场次洪水过程中的时段流量进行了分级，在参数率定时，每一级时段流量采用一组参数 K、x进行率定，在洪水演算时根据时段流量所属级别选用相应的参数。3 山东黄河云计算平台的主要技术原理 山东黄河云计算平台采用 Apache Hadoop（参考文献 2）技术来实现，主要是由分布式存储（HDFS） 、分布式计算（MapReduce）等组成 。其中，HDFS 用来管理存储八个地市局不同时期的洪水采集及预测的数据，MapReduce 则通过 HDF
6、S调用各地市局的水文数据，并通过马斯京根法对这些分布式数据进行并行计算，最后并将各个地市局的数据进行合并操作，将合并计算的预测数据存储回 HDFS,从而完成一次黄河下游洪水预测任务。3.1分布式存储（HDFS）Hdfs采用的是 master/slave模型，一个 Hdfs cluster包含一个 NameNode和一些列的 DataNode，其中 NameNode充当的是 master的角色，主要负责管理 Hdfs文件系统，接受来自客户端的请求；DataNode 主要是用来存储数据文件，Hdfs 将一个文件分割成一个多这是多个的 block，这些 block可能存储在一个 DataNode上或
7、者是多个 DataNode上。3.2分布式计算（MAPREDUCE）MapReduce采用“分而治之“的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。在 Hadoop中，用于执行 MapReduce任务的机器角色有两个：一个是 JobTracker；另一个是 TaskTracker，JobTracker 是用于调度工作的，TaskTracker 是用于执行工作的。一个 Hadoop集群中只有一台 JobTracker。在分布式计算中，MapReduce 框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容
8、错处理以及网络通信等复杂问题，把处理过程高度抽象为两个函数：map 和 reduce，map 负责把任务分解成多个任务，reduce 负责把分解后多任务处理的结果汇总起来。4实现方案山东黄河云计算平台的主要方案是在省一级部署 NameNode、DataNode 和JobTracker。而在市、县一级部署 DataNode和 TaskTracker。8 个地市局分别存储各自辖区内的黄河水情信息数据，而在省一级则只存储采用马斯京根法计算过的各个地市局的汇总数据。省一级提起水情预测任务（JobTracker） ，然后云计算平台通过网络将该任务分散到各个市局的集群节点上(TaskTracker)，各个
9、市局集群节点则采用马斯京根法并行计算各自的水情数据，然后再把计算结果合并，汇总到省局，从而得到最终计算结果。5 结论与讨论山东黄河云计算水情预测平台能够有效整合省、市、县三级的计算资源，同时采用分布式文件系统的备份恢复机制以及 MapReduce的任务监控保证了分布式处理的可靠性，为水情预测的准确性和时效性提供了有力的保障。由于水情信息是国家基础信息资源，因此采用分布式文件系统的高效数据交互实现以及 MapReduce结合 Local Data处理的模式，保障了数据存储的稳定性，同时为高效处理海量的信息作了基础准备，方便以后利用水情信息进行其他各种类型的数据挖掘工作，提高治黄工作的现代化水平。由于水情信息的不断增长，无论存储的扩展性还是计算的扩展性只需加入普通的 PC，便可与现有系统进行无缝融合。山东黄河基于云计算水情预测的研究有助于提升山东黄河防汛抗旱、水量调度等战略性决策的科学性，使山东黄河的日常管理更加科学化、合理化，进一步提升山东黄河的治理水平，更好的服务于人民大众。6参考文献1、马斯京根法洪水演进反演计算方法的探讨 关志成等 水文 20062、面向 Hadoop的云计算核心技术分析 吴岳忠等 湖南工业大学学报 2013
