1、毕业设计(论文)论文题目 多视角实时合成的研究与实现 Real-time Synthesis of Multi-view for Study and Realization学 生 姓 名： 学 号： 二级学院名称： 电子信息学院 专 业： 广播电视工程 指 导 教 师： 职 称： 合作/企业教师： 职 称： 浙江传媒学院本科毕业论文 多视角实时合成的研究与实现多视角实时合成的研究与实现摘要: 近年来，随着网络多媒体技术的迅速发展，以往的广播、电视、报纸等传统媒体在对抗不断兴起的新媒体传播方式这场没有硝烟的战争中收到了巨大冲击。传统媒体的劣势逐渐显现，很多事件从发生到广泛传播时间间隔久，时效性差
2、，普通人群参与度低，互动性差。越来越多的人开始尝试新的传播方式，尤其是人们观看影像的方式发生了重大改变。多视角实时合成给人们提供了一种不一样观察的方式，在近几年备受关注。多视角的实时合成，其目的在于同时获取多路视频信号，在有限的时间内获得更多图像信息。多路视频合成主要研究的是画面整合以及视频发布的两个问题。本次使用Helix Server 作为流媒体服务器并使用Real-Producer Plus进行广播与录制，在数据库中录入摄像头信息，浏览器中嵌入RealPlayer播放器，在浏览器中可以实时查看摄像头画面并实现视角切换。多视角的实时合成是由摄像头获取信息，通过USB接口进行视频传输，最后将
3、得到的视频进行处理。而为了更好的研究视频合成这方面，本文还对来自文件的多画面合成进行研究与实验，为本文最终的测试奠定良好的基础。关键词：视频监控；多视角合成；图像处理；流媒体浙江传媒学院本科毕业论文 多视角实时合成的研究与实现REAL-TIME SYNTHESIS OF MULTI-VIEW FOR STUDY AND REALIZATIONAbstract: In recent years, with the rapid development of network and multimedia technology, therefore, news media development in
4、 the new media age challenged the survival of traditional media. The disadvantages of traditional media gradually appear, many events from the occurrence to the wide spread time interval, timeliness is poor, the participation of ordinary people is low, and the interaction is not good. More and more
5、people are beginning to try new ways of communication, especially in the way people watch and think. Real-time Synthesis of Multi-view provides people with a different way of observation, and it is considered to be a popular technology in recent years.Real-time Synthesis of Multi-view, the purpose i
6、s to obtain multi-channel video signals at the same time, and we can get more image information in a limited time. This paper mainly studies two problems: image integration and video release. Helix Server was used to be Streaming media server in this research, and broadcasting and recording with Rea
7、l-Producer Plus. Inputting camera information to DB. The browser is embedded with RealPlayer player, so that it can view real-time video from the cameras and switch to different view angle.Multi-view real-time synthesis is to obtain information from the camera, transmit video signal with the USB, an
8、d finally process video. In order to study the video synthesis better, this paper also studies and experiments on the multi image synthesis based on local file, which lays a good foundation for the final test.Keywords: video surveillance; multi-view composition; image processing; stream media浙江传媒学院本
9、科毕业论文 多视角实时合成的研究与实现目 录1 绪论 .11.1 选题背景与意义 .11.2 国内外研究现状 .11.3 研究目的及意义 .31.4 本文主要研究内容 .42 多视角的实时合成总体方案设计 .52.1 多视角实时合成系统功能和需求分析 .52.2 系统总体结构 .53 多视角实时合成方法的实现 .63.1 流媒体服务模块 .63.2 视频信号实 时采集录制模块 .73.3 媒体流实时网络传输模块 .73.4 数据库元数据存储与管理模块 .83.5 WEB 流媒体发布模块 .84 多视角实时合成的实验与测试 .94.1 实验环境 .94.1.1 实现平台 .94.1.2 运行环境
10、 .104.2 基于本地视频文件的多画面合成 .104.3 基于单摄像头的实时直播 .114.4 基于多摄像头的多视角实时合成 .134.5 基于网页访问实现多视角的实时合成与切换 .145 总结和展望 .165.1 总结 .165.2 展望 .17致谢 .18浙江传媒学院本科毕业论文 多视角实时合成的研究与实现参考文献 .19浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 1 页 共 19 页1 绪论随着通信技术和网络多媒体技术的发展，人类获取外界信息的途径已经不仅仅局限于语音和数据，数字视频已经取代语音成为了人类信息的主要来源 1。曾经放学回家守着电视观看各类电视节目的年代已经渐渐
11、远去了，现在网络视频直播、视频实时监控、视频的远程教育以及多人视频聊天等各种多媒体新形式逐渐兴起，人们对于影像观看的要求越来苛刻，简单而传统的媒体形式已经无法满足人们对视频图像多样的需求。1.1 选题背景与意义近几年，国家经济的发展提高了人们的生活水品，人们不再只求温饱，而是更加注重丰富自己的娱乐休闲方式，获得更多视觉感官等刺激。从 2D 电影的平面影像到3D 电影越来越真实的观影体验，意味着胶片电影时代逐渐没落，数字电影的舞台才刚刚拉开帷幕 2。爱奇艺、优酷、陌陌等都推出了视频直播功能，满足了人们随时随地表达自我的需求 3。另外，视频图像处理技术和多画面显示系统技术的逐渐成熟，也改变了人们工
12、作的一些习惯。例如多画面视频会议系统的实现，减轻了公司出差开会时路途奔波的麻烦；电视制播系统中，在过去是有限前端对传输的电视信号进行监看，大部分是一对一的模式，一台监视器监控一路图像信号，并不能很好地实时监控每一路视音频画面，无法及时发现节目质量问题，难以做到安全播出；视频监控也是同理，现在摄像头的数量成倍增加，若是以电视墙的形式进行实时监控，不仅占地面积大浪费资源，而且人眼无法同时观察这么多屏幕，不容易捕捉画面细节，导致监控漏洞的出现。本课题致力于实现多路视频信号的实时合成，提高屏幕利用率和视频图像处理速度，因此，多视角实时合成的研究与实现具有一定实际意义。1.2 国内外研究现状多视角实时合
13、成技术是近年来人们关注的应用技术热点之一，尤其是被广泛应用于安防领域。安防需求主要集中在公安、交通、司法、金融、能源、科教卫和智能楼宇等七大行业 4，视频监控领域的 70%以上的数据分析是用来进行图像识别。大中小城市也在不断推进平安城市建设，目前我国摄像头数量最多的城市是北京，数量达到浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 2 页 共 19 页115 万，摄像头分布密度为 71 个/平方公里；上海摄像头的数量仅次于北京，数量达到100 万个；而杭州则是摄像头分布密度最高的城市，达到了 130 个/平方公里。在曾经传统的城市视频监控体系中，主要还是有线网络进行视频流的传输 5。随
14、着城市化的程度越来越高，有线网络面临搭建成本投入过高，架设困难，完成周期过长等一系列难题，无线网络将会逐渐取代有线网络。无线网络对公安部推动全国公安机关视频图像信息整合与分享工作任务更为便捷有益，对视频监控体系可以实现有用整合，进一步综合开发利用视频图像信息。海康威视成为视频监控行业的领军人物，持续五年（2011-2015）占据 iHS 环球视频监控市场占有率第一位，并在 2016 年，A&S 安全自动化公布的“环球安防 50强”中位列世界第一。海康威视在流媒体网络传输和控制技术、大数据分析技术、视频图像处理技术、嵌入式系统开发技术、云计算技术、视音频编解码技术、视频分析与模式识别技术、视音频
15、数据存储技术、专用集成电路的应用技术等九大核心技术全部拥有自主知识产权 6。2007 年海康威视研发成功全球第一台 16 路 D1 实时 DVRDS-8016HF-S；在 2015 年，海康威视发布了 “鹰眼 ”全景相机、工业相机以及立体相机。大华也推出了多镜头全景拼接相机，其典型代表作品就是四目 4K 全景网络相机DH-IPC-PDBW8808-A180 系列，可应用于对画质要求比较高且大场景监控的场所。四目 4K 全景相机处于行业先进技术，实现了更高清、全智能、大全景、星光级、图像拼接等功能。全景多目摄像机可以更好地实现了用户更全角度的大场景监控需求，有其独特存在的应用价值。大华四目全景网
16、络摄像机由 4 个镜头为 1/2.8“200 万超低照度CMOS 图像传感器、3mm 定焦特制镜头组合，可以拍摄四个角度，经由过程大华智能算法，主动识别四组画面之间的重复区域，并可以自动修改及拼接，输出 40961800全景画面，从而实现水平 180、垂直 87的超广角度展现，且拼接画面平整无畸变，视频结果更直观，高清监控一览无余 7。近年来，基于多视角的图像拼接技术迎来了它的春天，主要包含了计算及视觉问题以及图形图像问题。APAP 算法的实现将网格优化变形应用于图像拼接，TJ CHIN 通过将图像划分为密集网络，一个单应矩阵对应一个网格，利用对网格的变形，实现图像的矫正和拼接。对于视频拼接而
17、言，时下较为流行的做法，是一边进行视频拼接，一边进行视频的稳定，即视频去抖，不仅是可以实现对本地视频文件的高质量拼接，还可以做到在线的实时拼接。对于视频的实时拼接而言，时下较为流行的一种做法是，一边进行视频的拼接，一边进行视频的稳定，即视频去抖，不仅为是可以实现对本地视频文件的高质量拼接，还可以做到在线的实时拼接。浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 3 页 共 19 页除此之外，关于图像处理技术不得不提到 AR 和 VR，AR（Augmented Reality 增强现实）和 VR（Virtual Reality 虚拟现实）是计算及视觉领域最为热门的技术。VR 与AR 的区
18、别主要在于，VR 看到的全都是虚拟场景，是开发者创造出的模拟世界，比较著名的产品包括索尼 Play Station VR、HTC Vive VR 以及三星 Gear VR。虽然 VR 技术可以说是目前而言十分先进的技术之一，VR 电影、 VR 游戏等层出不穷，但是格里贝茨曾说过“VR 很酷炫，然而它只是通向增强现实的一块垫脚石 ”。AR 技术的使用者并不会觉得计算机所生成的虚拟物体和原来的现实世界两者之间格格不入，可以实现对于真实世界进一步的分析与探索。通过实时交互，还可以在有限的时间和空间中完成对相关知识领域的深入学习。2000 年，Bruce H.Thomas 开发了世界上第一款基于手机的
19、 AR 游戏，2008 年不同厂商开始将 AR 技术应用于手机地图软件；Goole 在2013 年向世界发布了广为人知的 Goole 眼镜；2015 年，Hololens 成为第一款可将虚拟的计算机图像用过 AR 设备嵌入到使用者真实的世界中 8。1.3 研究目的及意义多视角实时合成技术为人们提供了一种更加直观、更为方便、包含更多信息量的观看方式，人们可以在有限的时间内更加快速递获取尽可能多的视频信息，有利于在人力资源不足的情况下进行实时监控。而流媒体技术为视频、音频或者其他多媒体文件在网络中传输提供了可能性 9。多视角的实时合成技术应用非常广泛。例如电视节目制作时可以进行实时监看，一档现场的
20、综艺节目通常配备多台摄像机，不仅要从各个角度去捕捉主持人和嘉宾之间的互动，也要不是抓拍台下观众的反应，将多台摄像机画面同时传输到同一终端显示可以方便导播根据现场需要实现视角的切换。除此之外，多视角的实时合成技术还可以应用与电影广告的拍摄。现在广告制作周期非常短，尤其是拍摄期间，由于人工、设备费用比较昂贵，通常需要在最短的时间内拍摄尽可能多的画面。这种情况下往往需要多台摄像机同时工作，多机位拍摄已经成为常态。但是对应也需要有多个监视器，对于剧组来说多监视器携带相当笨重，导演也无法同时观看三个摄像机拍摄的画面。每次单个回放摄像机画面也是非常浪费时间，多视角的合成可以解决这类问题，提高拍摄效率，降低
21、拍摄成本。多视角的实时合成还可以运用到灾难现场的救灾行动，便于全方位实时了解灾情，在营救灾民、控制险情时制定出合理高效的解决方案，减轻灾难的伤亡程度以及财产损失，还可以为抢险救灾争取更多的宝贵时间。同样，利用多视角实时合成技术可以浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 4 页 共 19 页实现实时视频会议，通过这种方式可以减少与会人员往返于两地之间花费的时间，可以更快地传达公司总部的会议决定。根据以上所阐述的优点，对于多视角实时合成技术的研究无论从理论方面还是实践运用方面，都十分具有意义。通过该技术，人们在工作时，可以提高对于信息获取的效率；另外，还可以通过不同视角间的切换，使
22、得多视角实时合成技术应用更加广泛。1.4 本文主要研究内容本课题主要对多视角实时合成的研究与实现进行以下几个方面设计分析： 1、确定视音频流的传输方式：视频和音频的传输方式通常被分为有线传输和无线传输两种传输方式。有线传输布线复杂、成本高，无线传输则更加适合本次实验，搭建简单，不需要额外的设备。本次实验除了采用无线网络传输的方式，还结合了数字多媒体技术来实现传递视频图像信息。2、流式传输方式的优势：本次实验中的视音频信号的采集均有外接的 USB 摄像头和电脑自带的摄像头完成，服务器用于存放和控制流媒体数据 10，视音频信号流由RTSP（实时流传输协议）完成数据传送。最终，播放器提供客户端监看摄
23、像头传送回来的画面，可以实现边传边播，达到实时监看的效果。3、视频信号编码以及发布的处理方法：视音频信号流由 USB 摄像头和电脑自带的摄像头实时采集，经由 RealProducer 对其进行实时编码处理，每次完成编码，就会将本次采集到的视音频文件以.rm 格式保存到预先设置好的本地文件夹中。通过服务器MyWebServer 进行发布，可以在浏览器中访问摄像头实时传输过来的画面。本次利用了 RealProducer 自身的转码器，自动实现了视音频文件的编码工作以及流媒体文件的存储工作。4、数据库中元数据的存储与管理：在数据库中录入本次摄像头的信息以及每个摄像头对应的视音频信号文件地址，通过数据库管理流媒体文件的元数据信息。5、对结果进行分析，包括基于 WEB 服务器流媒体发布系统以及数据库连接时遇到的困难，还有对未来的展望。
