网络视频点播系统中用户行为的分析与建模.doc

1、网络视频点播系统中的用户行为分析与建模作者：陈磊 张西文 张强学校： 中国科学技术大学网络视频点播系统中的用户行为分析与建模摘 要第 I 页 摘 要随着网络带宽、计算能力和存储能力的提高，互联网中基于流媒体技术传输视频音频的系统大幅增长。现有流媒体系统与用于对系统性能进行评估的用户行为发生器的设计均基于对流媒体系统中用户行为的测量、分析与建模，所以我们有必要对用户行为进行准确深入的了解。本文选取两个视频点播系统作为研究对象：教育网内的中国科学技术大学视频点播系统(中科大VOD系统)和上海嘉定区高性能视频点播系统(上海嘉定TVOD系统)。通过记录的日志文件来对用户访问行为进行测量、分析与建模。在

2、对用户行为进行分析时，根据日志文件的内容，提出能反映其特征的几个统计指标：视频流行度，视频播放时间，用户交互操作数，然后对以上几个指标进行建模分析。在对视频播放时间和用户操作数进行建模分析时，通过统计分析，证明在不同时间尺度内中国科学技术大学视频点播系统的用户交互式请求数分布均表现出重尾现象，常用的幂律分布不适合对其建模，提出采用广延指数模型描述交互式请求数分布。在对视频流行度建模分析时：通过统计分析，证明常用的Zipf-like模型不适合建立流行度分布模型，提出采用广延指数模型描述视频流行度分布。通过对上述建立的模型进行卡方检验验证了模型的正确性，并在理论和模型分析的基础上提出了优化VOD系

3、统性能的意见。关键词：视频点播 模型 交互式 流行度 重尾 广延指数分布 Zipf-like 模型目 录第 II 页 目 录第一章 问题的提出 .1第二章 研究对象描述 .32.1 中国科学技术大学VOD系统 .32.1.1 视频点播系统介绍 .32.1.2 数据采集系统介绍 .42.2 上海嘉定地区TVOD系统 .4第三章 数据描述 .73.1 中国科学技术大学VOD系统日志数据描述 .73.2 上海嘉定地区TVOD系统日志数据描述 .8第四章 模型建立前的准备 .104.1 数据预处理 .104.2 指标的选取 .114.2.1 视频流行度 .114.2.2 用户交互请求数 .114.2.

4、3 视频播放时间 .12第五章 模型的构建和检验 .135.1 视频流行度模型 .135.1.1 估计模型的选择 .135.1.1.1 Zipf-like模型 .135.1.1.2 广延指数（Stretched Exponential，SE）模型 .145.1.2 估计模型的建立 .165.1.2.1 上海嘉定地区TVOD系统 .165.1.2.2 中国科学技术大学VOD系统 .185.2 用户交互请求数模型 .225.2.1 交互式请求数的重尾现象 .235.2.2 交互请求数的幂律模型 .255.2.3 交互请求数的广延指数（SE）模型 .305.3 视频播放时间模型 .34目 录第 II

5、I 页 5.3.1 视频播放时间的重尾现象 .345.3.2 视频播放时间的幂律模型 .365.3.3 视频播放时间的广延指数（SE）模型 .37第六章 总结 .40附录 广延指数与ZIPF-LIKE模型的CHI-SQUARE拟合优度检验 .41参考文献 .43第一章 问题的提出第 1 页 第一章 问题的提出Internet 的应用普及和计算机技术的迅猛发展使人们的工作、生活发生了巨大变化，个人计算机、计算机网络已经逐渐成为人们生活的一部分。人们对于信息和娱乐的需求快速增长，形式趋于多样化：从静态的文本、图片形式，逐渐向动态的语音、视频方向发展。随着多媒体技术的发展，各种视音频格式层出不穷，视

6、音频信息的传输、处理技术的应用越来越广泛；而宽带网络的逐步成熟，又使得应用流媒体技术在互联网上传输高质量的视音频成为可能，在宽带的基础上，流媒体可以提供更丰富的视频内容(包括课堂教学直播、视频会议)。同时，处在二十一世纪这样一个信息“爆炸”的时代，越来越多的人们更愿意及时、主动地获取信息。这种趋势冲击着传统的广播电视的收看模式。传统的电视为被动的接收模式，不能定制节目，无互动性。其消费特点为分频道，定时单向广播，用户为了看感兴趣的节目必须参照电视台预先确定的节目表，按时打开电视，而且还要忍受广告的折磨。而数字电视通过数字信号承载电视节目，为用户带来了更好的视听效果。这种趋势迫使广播电视系统向交

7、互式方向发展，实现互动点播。视频点播技术为这一问题提供了很好的解决方案。视频点播(Video On Demand，VOD)1，即按需要的视音频流播放，是近年来新兴的传媒方式。VOD 是以“用户自主”的崭新概念为基础的双向视音频信息系统，实现了按用户需要播放视音频节目的理想，其最大特点在于主动性和选择性。而且VOD的用户可以在观看视频时采取一系列的VCR操作2（跳进，跳退，暂停，停止等）来对视频实现交互。VOD依托在高带宽网络平台基础上，是未来信息服务中宽带业务的灵魂。在Internet这种开放、复杂、包含许多应用服务的系统中，构建大规模、高性能、面向Internet 终端用户的VOD系统极具挑

8、战性：首先，流媒体内容的传送对网络带宽要求高，对传送有低延迟率以及低丢包率要求。然而，Internet并不提供QoS3保证，并且对实时的媒体流也无法进行管理和控制；其次，流媒体业务量是由用户驱动的，用户的请求具有突发性，在顶峰时刻，媒体服务器需向有着不同网络连接的有线和无线用户提供成第一章 问题的提出第 2 页 千上万条并发流；再者，用户期望获得高质量媒体内容，而媒体编码，数据压缩以及数据通信技术的性能增长却较为缓慢。由于网络条件以及用户行为的动态性，对用户访问行为的测量、分析和建模对系统性能的评估、视频点播系统的设计和管理都能起到关键性的指导作用。本文根据已有的真实数据，对用户访问行为、视频

9、流行度进行了测量、建模和分析。 第二章 研究对象描述第 3 页 第二章 研究对象描述本文所研究的流媒体系统为教育网内的中国科学技术大学视频点播系统和上海嘉定区高性能视频点播系统。在对它们的用户的行为进行分析时，主要是根据系统记录的日志信息来获取相关的统计指标。下面分别对这两个系统进行介绍：2.1 中国科学技术大学VOD系统中国科学技术大学视频点播系统（USTC-VOD）为教育网（CERNET）内的典型流媒体服务系统，该系统面向安徽省教育网内所有用户，是中国科学技术大学建立的三套视频点播系统之一，其他两套点播系统分别为图书馆视频点播系统和教学视频点播系统。在这三套视频点播系统中，USTC-VOD

10、系统涵盖的流媒体资源最为丰富，也是最受欢迎的系统，其访问量较大，提供较多的娱乐类视频。下面对该系统及其用户数据采集系统做简单介绍。2.1.1 视频点播系统介绍USTC-VOD系统建立于 2001 年，目前由三台服务器组成，分别是两台Windows Media 服务器和一台 RealServer G2 服务器，它们负责对视频进行流化。这三台服务器位于中国科学技术大学网络信息中心的服务器集群中，通过网络信息中心的核心节点向中国科学技术大学四个校区、合肥市其他高校以及其他16 个地市的高校传送视频数据. USTC-VOD系统面向安徽省教育网内所有用户，主要以安徽省各高校学生为主。其中本科院校 31

11、所，包括中国科学技术大学和合肥工业大学这两所著名高校；高职院校 61 所，独立学院 10 所；分校办学点1 所。全省各类高等学历教育在校生人数已经突破 90 万人，达 907048 人。整个VOD系统的绝大部分视频资源在Windows Media服务器中。系统采用单播方式传送视频文件，采用组播方式传送电视节目。用户通过Web页面对视频资源进行访问。在这三台流化服务器中，其中一台Windows Media 服务器同时负责对Web页面的管理。用户访问页面如图 2.1 所示第二章 研究对象描述第 4 页 图 2.1 USTC-VOD系统用户访问页面图2.1.2 数据采集系统介绍由于要针对Window

12、s Media服务器中的视频访问情况进行分析，因此需获取用户对Windows Media服务器中的视频访问的信息。两台服务器中安装的服务器软件为Windows Media Service 2003，该软件配备了用户访问数据采集系统，即用户访问日志记录系统。该数据采集系统在服务器向用户流化数据时，以及用户对播放器进行系列操作时，均记录相应信息。另外，该数据采集系统还采集诸如计算机性能、网络带宽等方面的信息。数据采集系统提供 6 种日志记录周期：每小时记录一次、每天记录一次、每周记录一次、每月记录一次、当达到一定文件大小时记录一次以及从不记录。数据采集系统采用默认设置：每天记录一次日志，记录起点为

13、每天的零点，记录终点为第二天零点。所采集的数据存放在服务器所配置的本地目录中，由中国科学技术大学网络中心定期放在开放的FTP中，供研究者下载。2.2 上海嘉定地区TVOD系统上海市嘉定区嘉定有线电视台于 2007 年 10 月建立了互动电视综合服务系统，面向嘉定区 20 万用户提供时移电视服务和高性能视频点播服务（TVOD服务） 。到 2009 年 9 月止，TVOD服务已覆盖嘉定区 5 万户居民，有近 4 千户居第二章 研究对象描述第 5 页 民购买了此项服务。在此，我们主要针对TVOD服务中的用户行为进行统计分析。TVOD的系统结构可以用下图来进行简单描述：图 2.2 TVOD的系统结构其基础配置如下：服务器配置1，流媒体服务器：用于发布各种网页信息，视频资源等，同时可做为升级服务器使用。服务器采用RedHat Linux操作系统，具有较高的稳定性。管理员可以根据业务的需要，只要在服务器上进行配置，就可以对所有机顶盒进行系统在线升级。2，局域网设备：主干网采用千兆网络交换设备，用户端采用百兆网卡接入高速局域网。用户通过一个遥控器对机顶盒进行点播、快进快退、暂停等操作，也能对电视机进行一些基本操作，例如开关机、视频转换、音量大小、TV模式下节目切换等。后台管理系统管理员可以通过后台管理系统对流媒体服务器发布内容进行管理。系统具