基于云架构的深圳广电融合媒体数据中心设计-V1.1.doc

1、基于云架构的深圳广电融合媒体数据中心设计0 引言融合新闻中心项目是深广电集团由传统媒体向融合媒体转型的标志项目，调研、论证、建设长达6年，涉及机制、流程、技术等多方面创新和变革，第一期工程于2015年5月正式投入使用。项目总投资近1.8亿，其中工艺系统设备投资预算1.1亿，建筑总面积为4300平米。为了实现全媒体业务流程变革和技术支撑升级的项目目标，深圳广电和成都索贝公司、华为公司联合研发并实施基于云架构、全IP化的融合媒体数据中心。1 融合媒体数据中心需求分析进入21世纪，传统媒体的舆论引导能力面临挑战，互联网已经成为舆论斗争的主战场，直接关系我国意识形态安全和政权安全；另一方面，传统媒体的

2、盈利模式面临挑战，全球范围内电视广告收入增幅几乎零增长，广告平均价格下降。这些媒体发展主要矛盾的变化，要求生产网建设从“网络化、文件化、高清化”改造转向“ 用户导向，服务导向 ”的流程改造和模式创新。因此，融合媒体数据中心项目不仅要满足节目部门对内容生产资源的需求，而且还要适应加快推动传统媒体和新兴媒体融合发展的趋势。1.1 全媒体云计算与全 IP 化上世纪九十年代以来，深圳广电集团（含原深圳电视台）电视内容生产平台依次经历了编辑工具的数字化、生产系统的网络化、内容生产平台的云化三个阶段，IP化则贯穿其中。总体而言，编辑工具数字化提高了节目制作水平和效率，提升节目生产过程的管控能力；后来生产系

3、统网络化逐步消除业务孤岛，节目制播的运作效率和资源共享的能力进一步提升；近年来，为了应对新媒体的竞争以及自身融合发展的需要，深圳广电内容生产平台利用融合新闻中心项目建设的契机开始进入全IP和云计算时代。1、电视生产业务系统全流程IP化探索在传统媒体与新媒体融合的过程中，内容生产平台整体架构向全IP融合架构演进成为业界一致的认识，这一演进过程可以称之为内容生产网络的全IP化。IP是英文Internet Protocol的缩写，意思是“网络之间互连的协议 ”，生产系统全流程IP化实际上是采、编、播、存各个节点采用IP协议实现互联互通，并在线路传输、实现协调控制、完善网络应用等三个层面完成IP化改造

4、。在全媒体时代，传播的内容和服务种类越来越多，普遍基于IP技术。为了降低管理成本和提升用户体验，内容生产制播体系还需要“更加彻底的IP 化” 。因此，IP化后的全媒体融合网络包含IP化与网络融合两个平行的方向，需要业务运营结合起来统一考虑。2005年元旦，深圳广电上线全台网，为进一步提高生产效率和降低成本，开始逐步对内容生产体系全业务流程进行IP化改造。深圳广电全台网的全IP化改造主要包括信号和信令的IP化、业务流程的文件化、生产管理的信息化等三方面。2、内容生产制作平台的私有云实践云计算就是通过互联网提供各种计算服务和存储服务，包括基础设施即服务（IaaS）、平台即服务(PaaS) 和软件即

5、服务(SaaA)等服务模式。云计算的部署模式包括私有云、社区云、公有云、混合云。文献 1提出多媒体云和云多媒体来研究多媒体云计算。媒体云主要研究如何使云为多媒体应用和服务提供QoS支持。云媒体则重点研究多媒体怎样在云中执行内容存储、处理、适配、渲染等任务，以最好地利用云计算资源，进而为多媒体服务提供高QoE服务。在云中进行多媒体信息处理带来了巨大的挑战，包括多媒体和服务异构性、QoS异构性、网络异构性、设备异构性。云计算技术的大规模应用将给媒体内容生产带来巨大的变革，这不仅有助于工作效率、降低运营成本，还可以促进内容资源整合、发展创新业务，为内容生产提供良好的技术基础。从中国国际广播电台、央视

6、新址、北京电视台、凤凰卫视在广电云平台的实践来看，云计算技术在广电应用中的优势主要体现在有效降低用户的使用终端成本 2、优化技术调配运维和促进业务运营 3、实现业务敏捷，实现“全媒体、全时空 ”高效业务运营 4。1.2 深广电全台网的发展深圳广电集团全台网经过十年发展，电视内容生产网络的资产规模增长4倍，直播时长增长26倍，为了满足不断发展的内容生产业务的需求，深圳广电不断优化和改造全台网。1、2004年，深圳广电率先于全国建成全台网络化制作播出系统,实现采、编、播文件化交互和网络化传输播出。但由于全台网原有设计和当时技术限制，系统之间普遍通过单点连接，媒体资源共享性较差; 中央节点负担重，形

7、成“ 瓶颈”，一旦发生故障，则全网共享将受到影响。2、2010年开始，深圳广电基于双总线架构的主干平台项目投入使用，初步建立以主干为总线，其他系统向主干注册服务的模式；应用层面通过统一检索平台实现元数据检索和调用。这些项目建设初步实现高标清素材级（文稿、串联单、成品和素材）互相调用，实现了异地异构系统间的协同工作，构建集团内部接口服务的标准化；同时面临新的问题：松散耦合的系统中各个系统都是服务提供者，被动的被外界调用；除媒资、播出和收录向外提供较多服务之外，其他系统间缺乏统一的业务流程驱动，导致业务量极少，特别是网台互动实际应用不多。3、随着业务压力的日益增大，设备使用年限的逐年增加，故障发生

8、频率越来越高，截止2011年前四个月时间内，设备故障率已经达到2010年全年故障数量的77%多，其中故障主要集中在存储故障、关键服务器故障、单点故障等方面。回顾十年来深圳广电内容生产网的发展，主要面临三方面的挑战，一是，生产系统“烟囱式”发展，资源无法有效利用；系统安全防护需要进一步加强；面对不断增加的业务需求，头痛医头脚痛医脚；二是，新媒体的迅猛发展，网台互动依然是“两张皮”。三是，如何做好标清资产的再利用：在深广电高清化过程中，原有5个标清制播网络的价值数千万的标清设备、系统（授权）再利用问题。1.3 深广电融合媒体数据中心需求分析经过不断的调查与研究，深圳广电希望通过业务流程变革和技术支

9、撑升级来应对上述挑战。一方面，通过优化现有流程，改善资源共享的效率和安全性，完善新闻流程的一体化设计；应对未来全媒体环境下的业务生产，重构传统媒体与新兴媒体融合的生产流程；另一方面，面对不断扩张的业务需求，建立更具弹性，横向扩展性更强的IP化、分布式基础架构；面对内部业务生产建立媒体私有云，针对全媒体的生产环境结合公有云服务，建立“混合云”。2013年，融合新闻中心开始建设。系统包含5个生产业务系统、 2个生产辅助系统、系统平台包含160多个子功能模块，支持电视、微博、微信、App共平台新闻生产与发布。项目全面采用全IP化，私有云技术。包括采用IP分布式存储，实现90%后台计算资源的虚拟化，使

10、用桌面虚拟化、流媒体实现视频简编业务。深圳广电积极响应中央关于加快推动传统媒体和新兴媒体融合发展的一系列要求和指导意见，利用大数据和云计算技术推进新闻生产的融合发展。在建设全媒体融合新闻中心过程中，积极探索和实践云计算技术在融合新闻生产平台中的应用。其中，融合新闻中心媒体数据中心在IAAS层、终端层，混合云等方面进行了云计算的探索。2 深圳广电融合媒体数据中心设计从2013年开始，深圳广电、系统集成厂商、硬件厂商建立联合实验室，通过9个多月的测试和完善，基本确认现有技术设备和系统将可以支持融合媒体数据中心的内容资源全IP化、业务能力平台化、生产系统云化等三个设计目标。联合实验室主要测试项目包括

11、服务器虚拟化、分布式存储两大类16项：业务项 测试需求服务器虚拟化需求合成渲染 通过服务器虚拟化+GPU 直通替换现有物理服务器低码流编辑（需要GPU 处理）通过服务器+GPU 虚拟化替换现有编辑工作站低码流编辑（不需要 GPU 处理）通过桌面云方式替换现有编辑工作站转码迁移 通过服务器虚拟化替换现有物理服务器WEB 应用 通过服务器虚拟化替换现有物理服务文稿编辑 通过服务器虚拟化替换现有物理服务数据库 出于对现有技术的考虑，不打算虚拟化安全 低码流的工作站需要访问 Internet 和内网，虚拟化方案需要考虑和解决安全的问题；分布式存储需求带宽 100Gb有效容量 1.5PB架构分布式 NA

12、S 存储，如果产品不能满需求，只能退而求其次，选用 SAN+NAS 机头的架构虚拟化 设计一个大的资源池，实现资源共享，按需分配，平滑扩展安全设计统一存储安全设计，安全交换区存储和核心生产区存储需要进行数据交换，如何解决这个安全问题业务系统支持 分布式存储能够支持私有协议（例如索贝的 SFS）业务系统支持 存储针对 Mysql 数据库做定制化优化业务系统支持非编软件中的一些操作由存储提供 API 来简化流程，如非编软件中的截取操作，直接由存储提供截取视频在整个视频文件中的位置参考互联网数据中心（Internet Data Center）平台架构，融合新闻中心项目提出并建设了 “媒体数据中心（M

13、edia Data Center，简称MDC）”。融合媒体数据中心（MDC）是融合新闻中心技术平台的一部分，为融合新闻中心新闻运作与指挥平台（NRP）、全媒体汇聚平台、融合生产平台、全媒体发布平台提供媒体处理、业务支撑、公共服务、IT基础架构、传统媒体基础架构等资源，同时接收云管理平台、统一监控中心的管理和监控。2.1 基础设施层设计MDC 基础设施层主要包括分布式 IP 存储设计、虚拟计算资源设计、网络及安全设计三部分，重点实现两个目的：为上层业务系统提供为可靠、安全、高效、可扩展性强的存储资源、计算资源和网络资源；同时要求 MDC 在不改变系统结构、仅增加硬件资源的前提下可支持接入新的业务

14、，即可扩展到全台网。1、分布式 IP 存储设计根据业务需求，存储系统需要支持全媒体汇聚、内容交换、融合生产、发布，并支持在线和归档需求。传统广电生产系统的存储采用FC+IP的双网架构，一个很重要的原因是带宽、延迟和抖动等方面的Qos （服务水平保障）要求 1。本项目设计之初，就希望能实现全IP的架构；经过严格测试后厂商提供的分布式IP集群存储可以满足业务要求。因此，系统整体存储架构采用在线和归档一体化设计，通过分级存储方式实现对媒体文件以及其它非媒体文件存储业务的管理。同时，存储系统采用了基于IP访问的分布式存储架构设计，存储对外访问提供统一的虚拟资源访问标示符，外部业务不需要关注具体的数据物

15、理地址，各种数据访问业务带宽和容量方面的需求变化，能在系统生命周期各个阶段实现动态扩展和均衡，存储节点可以将重点放在提供读写服务的要求上。为保证业务安全，系统还进一步设计了应急存储。媒体数据中心存储业务类型分为在线存储、归档存储和应急存储三类。逻辑上将在线存储和归档存储融设计为一套存储系统，即在线/归档存储，一共包含22个P节点（Performance node）和7个C节点（Capacity node），统一对外提供服务，存储内部采用存储分层的办法，实现素材在归档存储空间（7个C节点）和在线存储空间（22个P节点）之间的数据迁移。剩余的3个C节点存储单独的组成一套应急存储，用于支撑系统最小规

16、模业务数据量（一期设计支持20个高清站点的在线新闻制作）。在这一方案中，分布式IP集群存储支持扩容至40PB，随着存储节点的增加，容量和带宽都能呈线性增长。在线存储（两个子域）上可以同时损坏的节点数或硬盘数量为4个。归档存储域上可以同时损坏的节点数或硬盘数量为2个。应急存储上可以损坏的节点数为1个，可以同时损坏的硬盘数为2个。当主存储不可用的情况下，切换至3节点的应急存储，保障核心业务不中断。2、计算资源设计根据业务需求，融合新闻中心计算资源需求分类如下表：序号 服务器分类 应用场景 配置说明 是否虚拟化CPU 核数：16 核内存：16G1 A 类服务器 数据库、索引类服务器2T 硬盘是CPU

17、 核数：8 核内存：16G2 B 类虚拟机 视频转码、迁移、技检、流 媒体、语音识别类服务器100G SAS 硬盘是CPU 核数：4 核内存：8G3 C 类虚拟机 业务管理类服务器100G SAS 硬盘是CPU 核数：8 核内存：16G100G SAS 硬盘4 D 类虚拟机 视频渲染类服务器带 1 个显卡是CPU+GPU 虚拟化CPU 核数：16 核内存：16G5 E 类虚拟机 IP 收录类服务器2T SATA 硬盘是CPU：INTEL Xeon E5-2609 2.4 GHz（四核）2内存：4GB46 F 类服务器演播类服务器、SDI 收录类服务器硬盘：500GB 7.2K 3.5” SAT

18、A 硬盘2否如上表所示：MDC总计需要310台服务器资源，其中290台通过服务器虚拟化提供，7%的计算资源采用物理服务器提供：如演播室类服务器的网络比较独立，安全性和松耦合要求较强；SDI 收录类服务器因专业设备（板卡等）无法通过服务器虚拟化提供。D类视频渲染类服务器还涉及GPU虚拟化，主要采用GPU 直通共享模式。计算资源虚拟化部分根据业务需求和安全等级划分3个区域：MDC服务器虚拟化、DMZ区服务器虚拟化、流媒体编辑桌面虚拟化。图7 计算资源虚拟化架构图如图7所示：3个MDC区刀箱中，包含全宽显卡刀片10块，每个刀片显卡2张，用于合成虚拟机的渲染使用。通过外挂两台IP SAN存储作为虚拟化

19、共享存储，为虚拟服务器的OS、数据库实例卷、索引文件卷、IP收录缓存卷的存储存放。这两台虚拟化共享存储实现负载均衡、互为主备，通过同步远程复制功能，保持数据同步。MDC区虚拟化平台满足250台服务器的虚拟化。DMZ区虚拟化平台和桌面虚拟化分别采用计算 +存储一体机刀框。所用刀片既提供计算资源，又提供虚拟化共享存储。通过分布式存储系统将刀片自带SAS硬盘做成存储池，为虚拟机或虚拟桌面提供OS存储。DMZ区虚拟化平台满足80台服务器的虚拟化。桌面虚拟化支持200个桌面的虚拟化。3、网络及安全设计融合新闻中心网络拓扑设计如图8所示，包括如下几个部分：图 8 融合新闻中心网络拓扑图 媒体数据中心。媒体

20、数据中心采用分布式数据中心的模式，即目前融合新闻中心的媒体数据中心和未来建设的媒体数据中心在不同的物理位置，但在逻辑上是同一个媒体数据中心。媒体数据中心部署一对堆叠数据中心交换机，虚拟化资源池、服务服务器资源池、分布式存储资源和图文包装系统均接入数据中心交换机。部署2套互为主备应用负载均衡器，实现业务系统的负载均衡。部署一对数据中心防火墙，用于外部访问的安全隔离。 终端接入区。终端接入区包括专用生产终端、生产办公一体化终端、在线包装终端、离线包装终端。专用生产终端指高码编辑工作站、高码审片工作站、配音工作站，这部分终端直通数据中心访问业务，不能访问互联网和办公网；生产办公一体化终端指低码编辑工

21、作站、流媒体编辑工作站，这部分终端需要访问互联网和办公网，访问生产业务必须经过数据中心防火墙。在线包装终端不能访问互联网和办公网；离线包装终端能够访问互联网和办公网，访问生产业务必须经过数据中心防火墙。 外部安全交换区。外部安全交换区是互联网、集团下属新媒体网络接入电视生产网的中转交换区域。融合新闻中心各业务系统需要和互联网、集团下属新媒体网络进行业务交互的，在外部交换区实施部署相关安全措施。 办公边界安全交换区。办公边界安全交换区是办公网络接入电视生产网的中转交换区。融合新闻中心各业务系统需要和办公网络进行业务交互的，在外部交换区实施部署相关安全措施。2.2 平台层设计融合新闻中心平台层为上

22、层业务系统提供媒体处理服务、业务支撑服务、全媒体内容库服务、数据库与中间件服务。1、媒体处理服务如图 9 所示，媒体处理服务提供对媒体文件的内容处理的公共服务，供上层业务系统调用。可支持对各种媒体文件处理：渲染服务、技审服务、转码服务、迁移分发服务、语音转文本服务、流媒体服务图9 媒体处理服务示意图各类媒体处理服务器采用集群模式，由任务管理器统一调度。集群内包含多台相同功能的媒体处理服务器对同一任务分片并行处理或多任务并行处理。既提高业务的处理性能有实现业务高可用。2、业务支撑服务可以提供流程管理、安全认证、协同工作等基础公共服务。系统需提供统一的接入技术协议标准，具备系统应用服务统一管理能力

23、和调度能力。主要包括：统一认证/登录服务、统一时钟服务、访问控制服务、工作流引擎服务、消息服务、统一代码应用。3、全媒体内容库服务全媒体内容库服务汇聚多种资源并通过智能分析产生大量相关元数据为上层业务系统提供服务。可以实现元数据管理、空间管理、内容检索、内容分布式管理等功能。包括以下模块：内容汇聚、内容组织、内容处理、内容检索呈现。全媒体内容库汇聚内容包括视频网站、合作媒体、社交网络、用户分享、制作网稿件、制作网素材和节目以及收录素材等；汇聚内容还包括视频、音频、图片、文字、flash 等多种类型。内容库的视频文件经过智能语音识别、转场识别等多种智能处理引擎，自动生成素材相关的元数据信息。所有

24、资源汇聚后需要分类展现，统一搜索，针对自动汇聚的元数据资源还可以编辑修改，也可以新增加标签的功能需求。4、数据库与中间件服务融合新闻中心项目将数据库与中间件设计成一个公共服务平台，整合数据库和中间件需求，实现统一数据库和中间件平台，满足上层业务系统的需求。数据库平台采用主、备、第三备多层防护架构，实现数据库的高可用。同时使用统一数据库平台为不同的上层业务提供数据库调用服务。数据库中间件实现的三层架构，做到系统主体业务及数据体系和应用系统的框架无关性，系统灵活构成三层 C/S 结构，或 B/S 结构，最大程度减轻用户数据访问对系统的维护负担，提高系统访问安全性和对具体业务的支持能力。2.3 业务

25、层部署设计融合新闻中心业务层包括全媒体汇聚平台、融合生产平台、全媒体发布与互动平台、新闻指挥与运作平台。上层业务层依托MDC基础设施层和平台层为最终用户提供服务。业务层部署设计主要如下： 服务器部署方式虚拟化服务器部署：除演播室业务和 SDI 收录业务外，所有业务均部署在虚拟化服务器上。包括：IP 收录业务、融合生产业务、新媒体发布与互动业务、新闻指挥与运作业务、DMZ 区接口业务、后台管理业务。物理服务器部署：演播室业务、SDI 收录业务。 高可用部署负载均衡方式：所有 B/S 类业务，包括文稿、新闻指挥、全媒体发布等应用均采用多个资源池由负载均衡器调度的方式部署，其中任何一个资源故障不影响

26、整体业务的运行。集群方式：媒体处理业务如合成、转码、迁移，流媒体等业务采用集群方式部署，多个资源池由 MPC 统一调度管理。实现任何一个资源不可用的情况下，可以自动调度其他资源。主备热备方式：播出服务器、播出控制工作站等业务采用主备热备的方式部署，当主业务出现故障时，自动切换至备业务。 极端情况下的业务可持续性设计编辑工作站分布式备份当MDC存储、计算资源、网络均不可用的极端情况下，如何仅仅利用编辑工作站完成新闻制作，是融合新闻中心业务部署的关键点。融合新闻中心采用编辑工作站分布式备份的方式实现极端情况下的新闻制作和播出业务，实现方式如图11所示：图11 编辑工作站分布式备份示意图在日常新闻制

27、作过程中，将各个制作环节的数据如上载、配音、粗编、精编、审片的数据自动备份到预定的编辑工作站的本地硬盘上。当新闻制作模块因发生极端故障不可用时，利用预定备份工作站的备份数据，启用本地编辑、本地合成、本地审片模式，完成新闻制作。新闻制作完成后将成品节目下载到蓝光盘，并将蓝光盘送演播室播出。2.4 基于云架构的媒体数据中心实现传统全台网各业务系统采用烟囱式的建设，形成各自独立的网络孤岛，造成资源不能有效整合和共享，系统扩展性差。基于云架构的媒体数据中心，实现资源的整合和系统的平台化，有利于提高资源利用率、降低成本、提高系统部署敏捷性 3。融合媒体数据中心采用32个节点的IP分布式存储，总容量1.5

28、P；400个服务器虚机（总计2000个VCPU、 3.5TVMemory、100T VStore、80个VGPU），实现 90%后台应用服务器计算资源虚拟化；前端支持100个高码高清站点、100个代理高清编辑站点，以及100个桌面虚拟化工作站对生产域提供上网和办公业务，对办公域提供流媒体简编业务。融合新闻中心私有云架构如图12所示，包括IaaS层、PaaS层、SaaS层和云管理平台。 IaaS层融合新闻中心IaaS层为PaaS层和SaaS层提供可靠、高效、安全、扩展性强、管理便捷的存储资源、计算资源和网络资源。融合新闻中心实现了计算资源的云化，将大部分业务和应用部署在云平台上；实现了流媒体编辑

29、终端的云化，实现流媒体编辑业务的敏捷部署和便利使用；实现了存储的IP化和池化，实现存储资源的高效利用和便捷扩展。 PaaS层PaaS层为依托IaaS层资源,为上层SaaS业务提供统一服务平台，包括媒体处理平台、业务支持平台、公共服务平台、全媒体内容库服务、数据库与中间件服务。融合新闻中心PaaS整合各类资源，为不同的上层业务提供统一的服务，提高资源的利用率率并实现资源的便捷扩展。改变过去各业务系统单独部署各自的平台服务的模式。 SaaS层融合新闻中心SaaS层为全媒体新闻制作提供全媒体汇聚业务、融合生产业务、全么题发布与互动业务、新闻指挥与运作业务。SaaS层将部分的业务池化，由负载均衡器或者

30、资源管理器统一调度分配，实现业务的高可用和横向扩展。未来随着业务的增长，只需扩充资源池即可，改变过去新建系统以满足新业务的状况。极大的提高了系统部署效率和资源利用率，真正实现全台一张网一个平台一个系统的架构。 云管理平台云管理平台对融合新闻中心私有云进行统一的调度管理。通过统一的接口，对计算、网络和存储等虚拟资源进行集中调度和管理，提供物理设备和虚拟机接入、服务自动化部署、资源管理和监控等功能。云管理平台实现如下特性：统一的物理和虚拟资源管理，提升管理效率 、自动化运维管理，缩短业务部署时间、服务目录，业务快速发放、开放兼容，多种虚拟化平台管理支持。图 12 融合新闻中心私有云架构3 融合媒体数据中心总结和展望深圳广电融合新闻中心全媒体云平台是基于全媒体汇聚、共平台生产、多渠道发布的一体化业务基础上，集合全媒体采、编、播、存、管的所有环节，提供一个长期不间断运行的、高可靠性、高处理能力、可扩展性强的多业务支撑平台。融合媒体数据中心是业务支撑系统的基础，MDC是分布式架构设计，本次完成第一个节点，随着业务的发展建设后续节点。