1、硕 士 专 业 学 位 论 文开发测试云平台的设计与实现权限管理、定时任务调度与工作负载管理模块Design and Implementation of Development-and-test Cloud Platform: Right Management, Job Scheduling and Workload Management Module作者：导师： 北京交通大学2019 年 1 月i学校代码： 密级：北京交通大学硕 士 专 业 学 位 论 文开发测试云平台的设计与实现权限管理、定时任务调度与工作负载管理模块Design and Implementation of Develop
2、ment-and-test Cloud Platform: Right Management, Job Scheduling and Workload Management Module作者姓名： 学 号：导师姓名： 职 称：工程硕士专业领域：软件工程 学位级别：硕士北京交通大学2019 年 1 月ii致谢本论文的工作是在本人的导师副教授的悉心指导下完成的，副教授严谨的治学态度和科学的工作方法给了本人极大的帮助和影响。在此衷心感谢两年来老师对本人的关心和指导。副教授悉心指导本人完成了企业的实习工作，在学习上和生活上都给予了本人很大的关心和帮助，在此向老师表示衷心的谢意。副教授对于本人的实习工作
3、和论文都提出了许多的宝贵意见，在此表示衷心的感谢。在企业实习及撰写论文期间，企业导师王红亮、同事江新根、樊龙、李金平、同学屈鹏琦等对本人论文中的需求分析、技术选型、设计与实现等工作给予了热情帮助，在此向他们表达本人的感激之情。另外也感谢家人，他们的理解和支持使本人能够在学校专心完成本人的学业。北京交通大学硕士专业学位论文 摘要iii摘要为了适应现代软件开发模型高速迭代的特性、满足多项目并行开发与测试的需要，在软件研发项目的开发与测试阶段，开发与测试环境具有需求量巨大、种类繁多、更迭频繁、时效性强、重用性高等特点。开发与测试环境是ICT（Information and Communication
4、s Technology，信息与通信技术）资源的科学配置与有机组合。而传统的 ICT 资源管理存在着资源的配置不灵活、部署周期长、利用率低下等诸多亟待解决的问题。开发测试云平台利用虚拟资源管理技术，通过网络整合 ICT 资源，构建共享虚拟资源池，并根据软件开发与测试需要，以动态、按需、可度量的方式向软件研发项目提供开发与测试环境的配置与管理服务，实现对开发和测试环境中的 ICT 资源的灵活配置、便捷部署与高效利用。开发测试云平台是云计算技术在软件开发测试环境配置领域的具体应用。本文从开发测试云平台出发，以权限管理、工作负载管理和定时任务调度三个模块作为切入点展开深入的分析与设计。权限管理是平台
5、的基础业务模块，提供以项目为边界的、基于角色的用户权限管理机制。工作负载管理是平台的核心业务模块，提供基于可重用的工作负载配置方案的虚拟服务器和应用程序部署业务，提供虚拟服务器的创建、启停、回收和虚拟桌面连接服务。定时任务调度是平台的关键技术模块，基于 Quartz Scheduler 框架提供静态配置的定时任务调度和动态生成的独立定时任务调度，并加以改进，实现了基于任务分发机制的链式定时任务调度。在需求分析阶段，本人独立完成了界面与交互原型的设计工作；在设计与实现阶段，本人独立完成了权限管理模块、工作负载管理模块、定时任务调度模块、项目资源管理子模块、登录控制子模块和系统部署升级子模块的设计
6、与实现，参与完成了数据库设计和配置方案管理模块的设计与实现。目前，该平台仍处在研发阶段。部署于测试环境中的开发测试云平台运行良好；本人完成的模块功能完善、运行稳定、实现了预期目标。关键词：开发测试云；ICT 资源；定时任务调度北京交通大学硕士专业学位论文 ABSTRACTivABSTRACTIn order to adapt to the rapid iteration of modern software development model, meet the needs for multi-project parallel development and testing, there is
7、 huge demand for diverse development and testing environments in development and testing phases of software research and development projects. These environments are time-sensitive, updated frequently and reusable. The development and testing environment is a well configured combination of ICT (Info
8、rmation and Communications Technology) resources. There are many problems to be solved in the traditional ICT resources management, such as rigid resource allocation, long deployment cycles and low utilization. Using virtual resource management techniques, development-and-test cloud platform integra
9、tes resources over the network to build a shared pool of virtual resources. According to software development and testing needs, development-and-test cloud platform provides development and testing environment configuration and management services to software research and development projects in a d
10、ynamic, on-demand and measurable way, to achieve flexible configuration, easy deployment and efficient use of ICT resources.The development-and-test cloud platform is the combination of cloud computing and environment configuration for software development and testing. The thesis focus on the analys
11、is and design of development-and-test cloud platform. The right management module, workload management module and job scheduling module act as the entry points. As a basic business module, right management module provides a role-based user right management mechanism within project boundary. As a cor
12、e business module, workload management module is able to deploy virtual servers and applications according to reusable workload configuration templates, is able to start, stop, terminate the virtual server and access the virtual server via virtual network computer technology. As a key technical modu
13、le, job scheduling module schedules jobs based on Quartz Scheduler framework. Jobs are registered by static configuration or generated dynamically at runtime. As an improvement of stand-alone job scheduling, a job queue scheduling based on job dispatching mechanism is proposed. In the requirements a
14、nalysis phase, the author completed interface and interaction prototype design independently. In the design and implementation phase, the author completed right management module, workload management module, job scheduling module, 北京交通大学硕士专业学位论文 ABSTRACTvproject resources management sub-module, logi
15、n control sub-module and system upgrade sub-module independently, participated in and completed the database design and workload configuration management module.The platform is still in the development stage currently. The development-and-test cloud platform deployed in the test environment runs wel
16、l. The modules implemented by the author are functional and stable, and the implementation of these modules achieves the desired objectives.KEYWORDS：Development-and-test Cloud; ICT Resources; Job Scheduling北京交通大学硕士专业学位论文 目录vi目录摘要 .iiiABSTRACT .iv1 引言 .11.1 项目背景 .11.2 项目意义与目的 .21.3 国内外发展现状 .41.4 论文主要
17、工作 .51.5 论文组织结构 .61.6 本章小结 .72 开发测试云平台关键技术分析 .82.1 服务器虚拟化技术 .82.2 云计算平台 .82.3 云应用管理平台 .92.4 展现中间件技术 .92.5 定时任务调度技术 .102.6 本章小结 .103 开发测试云平台需求分析 .113.1 开发测试云平台建设目标 .113.2 开发测试云平台逻辑结构 .123.3 开发测试云平台功能性需求分析 .133.3.1 开发测试云平台用例分析 .133.3.2 权限管理用例分析 .143.3.3 工作负载管理用例分析 .153.3.4 定时任务调度用例分析 .163.4 开发测试云平台非功能
18、性需求分析 .173.5 本章小结 .184 开发测试云平台概要设计 .194.1 开发测试云平台架构设计 .194.2 开发测试云平台功能模块设计 .20北京交通大学硕士专业学位论文 目录vii4.3 开发测试云平台组件设计 .214.4 开发测试云平台数据库设计 .234.5 本章小结 .245 开发测试云平台详细设计与实现 .265.1 权限管理模块详细设计与实现 .265.1.1 用户管理子模块详细设计与实现 .265.1.2 角色管理子模块详细设计与实现 .285.1.3 权限管理子模块详细设计与实现 .305.2 定时任务调度模块详细设计与实现 .335.2.1 定时任务调度模块详
19、细设计思路 .335.2.2 配置型定时任务详细设计与实现 .365.2.3 独立定时任务详细设计与实现 .375.2.4 链式定时任务详细设计与实现 .385.3 工作负载管理模块详细设计与实现 .405.3.1 工作负载管理模块界面设计 .405.3.2 工作负载管理子模块详细设计与实现 .435.3.3 工作负载控制子模块详细设计与实现 .465.4 本章小结 .486 开发测试云平台测试与运行结果 .506.1 开发测试云平台敏捷测试方案 .506.2 权限管理模块测试与运行结果 .516.3 工作负载管理模块测试与运行结果 .526.4 工作负载并发部署性能测试 .556.5 本章小
20、结 .577 结论 .59参考文献 .60作者简历及攻读硕士学位期间取得的研究成果 .62北京交通大学硕士专业学位论文 引言11 引言在软件的开发与测试阶段，存在着开发与测试环境中的 ICT（Information and Communications Technology，信息与通信技术）资源配置不灵活、部署周期长、利用率低下等问题。开发测试云平台利用云计算技术，以动态、按需、可度量的方式向软件研发项目提供开发与测试环境的配置与管理服务，实现对开发和测试环境中的 ICT 资源的灵活配置、便捷部署与高效利用。本章将阐述项目的背景、意义与目的，介绍国内外发展现状、论文的主要工作和组织结构。1.1
21、 项目背景在软件工程中，软件开发模型描述和表示软件生命周期中的各个阶段之间的复杂关系与转化过程 1。瀑布模型和敏捷开发是被广泛实践的软件开发模型，两者对开发和测试环境的数量和种类均有着较高的要求。瀑布模型被诸多政府项目和大公司所采用 2。 “一次通过”是瀑布模型的本质，要求每个活动只做一次，并最终得到软件产品 3。在瀑布模型的软件实现和测试过程中，如果进行单元测试、集成测试、确认测试、系统测试、验收测试、回归测试、Alpha 测试、Beta 测试各一轮，则至少需要 1 个开发环境和 8 个测试环境。Scrum 是一个增量的、迭代的敏捷开发过程，由多个小的迭代周期组成，迭代周期通常固定在 2 至
22、 6 周之间，迭代周期结束时产生可交付的产品增量 4。一个为期 3 个月的采用 Scrum 敏捷方法开发的软件项目支持 3 种运行平台和 24 种语言环境，开发过程中采用每日构建方式，并对其进行单元测试、集成测试、系统测试、功能测试、性能测试、配置测试、回归测试和全球化测试，则至少需要3 个开发环境和 33 个测试环境 5。假设一套开发与测试环境从提出申请到用毕拆除需要 10 人/日，则在一个为期 6 个月的采用瀑布过程的 10 人项目中，开发与测试环境管理的时间成本约占比 5%；而在一个为期 6 个月的采用 Scrum 过程的 10 人项目中，开发与测试环境管理的时间成本占比高达 20%。开
23、发与测试环境是 ICT 资源的科学配置与有机组合。传统的 ICT 资源管理难以应对迭代开发与并行测试的需求，存在诸多亟待解决的问题。(1)ICT 资源管理不灵活。开发与测试环境中的服务器、存储、操作系统和中间软件等 ICT 资源，通常由开发和测试人员申请与使用，由基础架构组负责运维北京交通大学硕士专业学位论文 引言2与管理。多项目开发与测试的并行、使用者与运维者的责权交叉致使企业资产管理中的 ICT 资源总量不清、借用与使用情况不明。(2)开发测试资源申请周期长。有数据显示，在为期 6 个月的开发测试项目中，花费在资源的申请、审批、等待、安装、配置、拆除和归还等重复性工作上的时间超过 1 个月
24、。这类重复性工作直接影响了开发和测试工作的效率。(3)员工工作效率低下。负责基础架构工作的工程师更加希望从事诸如错误诊断和性能调优等具有高附加值的工作，而非从事诸如制作软件镜像文件、更新服务器和更新硬件设备固件等重复性工作。这些重复性工作不仅影响工程师技能的提升，而且使其缺乏工作兴趣，继而影响其工作效率。(4)设备利用率低下。大量调研数据显示，开发测试所使用的服务器的CPU（Central Processing Unit，中央处理器）平均利用率不足 5%，以太网带宽利用率不足 10%。此类资源浪费现象阻碍了企业投资回报率的提升。可见，在软件研发项目的开发与测试阶段，其开发与测试环境具有需求量巨
25、大、种类繁多、更迭频繁、时效性强、重用性高等特点。而传统的 ICT 资源管理难以适应现代软件开发模型高速迭代的特性、不能满足多项目并行开发与测试的需要。云计算是一种通过网络统一组织和灵活调用各种 ICT 资源，实现大规模计算的信息处理方式 6。云计算利用虚拟资源管理与分布式计算等技术，通过网络将包括计算与存储、应用运行平台、软件等在内的分散的 ICT 资源整合形成共享的资源池，并以动态、按需、可度量的方式向用户提供服务。云计算为批量化和规模化的软件研发与测试业务提供了面向服务的、统一的、动态规划的基础平台，能够有效地将标准化、高质量的研发管理体系和管理思想落实到软件企业和组织的各个研发实体和研发人员身上，从而保障不同的研发项目均能获得同样高质量的成功。 “开发测试云”即是这种通过云计算技术与软件研发管理的有力结合，为软件企业和组织建立起来的、可持续发展的基础的技术平台 7。1.2 项目意义与目的开发测试云具有利用宽带网络连接、支持 ICT 资源共享、提供快速按需与弹性服务以及服务可度量 4 个核心特征。服务的使用者与提供者之间、服务提供者内部的各个节点之间均通过高速网络相连。ICT 资源在云内可由全体用户共享。用户可以根据实际需求，迅速获取、释放资源，或对资源进行动态扩展，并跟据实际的资源使用量向服务提供者付费。按照服务提供的资源所在的层次分类，开
