1、网络流量监测分析及可视化-中国科技网全网网络流量分析系统培训,中国科技网研发部 联系邮箱 韩春静 ,全网流量分析系统简介与目前使用情况流量分析技术介绍可视化技术介绍全网流量分析系统系统使用培训,报告提纲,全网流量分析系统简介与目前使用情况,各种国际科研研究机构和网络机构,网络带宽持续增长的原因对管理者未知科研应用信息化程度对管理者非常重要利用网络进行科研数据交互的国外科研机构是研究所的重要资源,全网流量分析系统项目背景介绍,网络管理者需要获得使用网络的详细情况,全网流量分析系统项目背景介绍,分析网络流量,中国科技网全网流量分析系统,全网流量分析系统从各个角度和深度分析科技网流量应用组成，用户
2、使用习惯，科研流量去向等，为院和研究所信息化领导，科技网中心管理者、研究所网络管理者提供信息化管理工具院“十一五”信息化项目中国科技网网络中心研发部自主开发,项目介绍,2008年12月份-2009年2月份，需求调研2009年3月份-8月份，系统设计和开发2009年8月份-10月份，系统测试2009年10月份-12月份，新增功能设计开发2010年1月份-3月份，系统测试2010年3月份-至今，院内研究所开放使用。,全网流量分析系统建设大事表,目前系统上线运行正常，已经为全院的研究所开放了账户，多个研究所使用后，评价系统功能强大，很方便使用！,多次为院信息化专家组演示系统功能，得到了专家的指导和肯
3、定！,高速链路流量实时捕获技术深度包监测技术海量数据高性能处理与存储技术创新可视化流量展现,全网流量分析系统解决的关键技术,科研流量协作分析应用分析Top IP地址分析Top IP地址对分析记账信息主机活跃度分析分院统计报告研究所统计报告,全网流量分析系统架构设计,DPI设备,DPI流接收器,流接收器,数据库,WEB Service 中间服务层,链路分析,研究所分析,统计报告,网络气象图,科研流量协作分析,主机活跃度分析,网络层,处理层,应用层,netflow,缓存服务,数据处理器,数据处理器,研究所管理者,DPI探针通过镜像方式获得流量信息，不依赖路由器Netflow的配置，不依赖路由器的硬
4、件基本配置DPI探针可以为软件或者硬件，根据网络浏览级别大小选择DPI探针获得的应用流格式不固定，统一的处理程序不适用DPI探针流格式中间增加网络应用信息字段，应用信息通过应用分级获得不同的应用分析效果DPI探针数据量大于Netflow，需要在处理时增加采样，并采用分布式数据库进行数据处理和保存,DPI（深度包检测）探针应用于流量分析,与Netflow比较,Netflow海量数据采用文件作为临时数据保持格式，数据批量导入数据库增加最近时间段的的数据库快表，获得最近5分钟，一个小时，一天，一个月的数据统计结果，提高热点关注数据的查询效率采用分表的方式，将不同颗粒度数据进行保存，保证长期数据存储和
5、查询速度,流量采集和保存关键技术,引入虚链路,虚链路：虚链路相对于交换机，路由器网络中的链路，通常，2个设备端口形成一条链路。虚链路指可以将链路进行相加，形成逻辑意义上的链路，即虚链路。,China：国内所有所有出口线路Foreign：国际所有出口线路Gloriad：Gloriad所有线路All Border：国内和国际所有出口线路,流量可视化,交互图,表,文本,可视化成就网络发展,user1 2612597673600 2640897130800 5253494804400 user2 10688049000 8927868600 19615917600 user3 54381476600
6、49254297300 103635773900 user4 766579973300 861216720300 1627796693600 user5 2947147088800 3381686944000 6328834032800 user6 72153578000 47381412000 119534990000,越来越高效洞悉网络,数据可视化（Data Visualization）技术指的是运用计算机图形学和图像处理技术,将数据换为图形或图像在屏幕上显示出来,并进行交互处理的理论、方法和技术。它涉及到计算机图形学、图像处理、计算机辅助设计、计算机视觉及人机交互技术等多个领域。流量可视
7、化：即网络流量的信息可视化。我们可以通过数据可视化技术，发现大量IP地址、通信机构和不同应用隐含的规律，从而为决策提供依据。,流量可视化技术介绍,Jfreechart，java包，方便使用，对于复杂的图形绘制，每个参数需要设置，对使用者要求比较高Flex chart，Adobe自带包，需要对Flex开发比较熟悉，包中提供了各种丰富的图表控件以及灵活的控制参数，可以制作动态flash报表Google Map 和Google Earth开发包，在程序中间可以方便的嵌入开发包，目前提供了flex，JavaScript，flash等接口包,可视化开发包,Open Flash Chart ：http:/
8、teethgrinder.co.uk/open-flash-chart/，完全开源免费Fusionchart：http:/ 非开源，具有免费使用版本Anychart：http:/ 非开源，可以下载使用，生成报表附LogoAmchart： http:/ 非开源，可以下载使用，生成报表附Logo,动画报表工具举例,交互性强大，信息含量丰富方便使用，配置简单仅仅需要修改数据文件格式和配置模板可以在不同的开发语言上使用需要对数据库比较熟悉需要对每种工具的配置规则熟悉没有可视化的开发界面，预览需要通过调用程序调试,动画报表工具特点,WEBFOCUS Information Builders公司Style
9、 Report 美国英网软件公司（InetSoft） 润乾报表 润乾公司,商业智能报表工具举例,开源商业智能报表软件,openI http:/ http:/ spagoBIhttp:/www.spagoworld.org/xwiki/bin/view/SpagoBI/ pentahohttp:/ 与数据库连通性，用户定制数据访问适配器 专业报表设计强大的所见即所得（WYSIWYG）报表设计工具，拥有像Word一样简单的操作过程，以及像HTML一般的精美布局，丰富的展现元素库 嵌入商业逻辑支持在报表、页面及元素中使用JavaScript脚本，为报表植入复杂的商业逻辑，脚本可控的报表输出及报表打印
10、 交互式报表视图提供零客户端下载的，安全可靠的报表门户 ，支持数据在已生成的报表内进行排序、过滤及隐藏 ，支持邮件发送，服务器端打印及客户端打印功能 嵌入机制与集成 支持Web service和SOAP 架构 ，可配置的报表门户组件，支持通过各种开发语言API 对数据和报表进行操作,全网流量分析系统使用培训,科研流量协作分析应用分析Top IP地址分析Top IP地址对分析记账信息主机活跃度分析分院统计报告研究所统计报告,内容提纲,在这个功能模块中间，系统会呈现给用户一个地理的流量视图。用户可以查看本研究所流量与外部机构交互的情况系统界面包括三个区域：选择区域TopN表格地理视图,科研流量协作
11、分析,科研流量协作分析,选择虚链路,选择时间段,大洲选择,全屏按钮为了更全面、美观的查看地图，提供全屏按钮,国家/地区查询这部分在地图里点击任何国家，可以提供具体一个国家的查询。在查询区域没有显示，此功能的查询。,IP地址对柱图更直观的展示外部机构交换流量最大的情况。,科研协作流量分析-Top N 地址对 柱图,饼图中国家/区域的大小显示了每个国家的流量比例，在Top 10的国家以外，还显示了其他国家/区域的所有流量，名称为“其他”,科研协作流量分析-Top N 国家饼图,在这个功能模块中间，系统提供研究所的分析数据和图表上行：指出研究所（科技网）的流量下行：指入研究所（科技网）的流量,流量分
12、析-研究所分析,菜单选择：流量分析研究所分析-流量趋势内容描述系统提供链路流量总体的流量上下行图表,流量分析-研究所分析-流量趋势,菜单选择：流量分析研究所分析-应用组成内容描述系统提供此研究所出口流量在各个种应用分布情况,流量分析-研究所分析-应用分析,菜单选择：流量分析研究所分析-TOP IP地址内容描述系统提供研究所流量使用最多的IP地址情况，图表中提供Top 10的IP地址柱图,流量分析-研究所分析- TOP IP地址,菜单选择：流量分析研究所分析-TOP IP地址对内容描述系统提供研究所出口流量中流量使用最多的IP地址对情况，图表中提供Top 10的IP地址对柱图,流量分析-研究所分
13、析- TOP IP地址对,菜单选择：流量分析记账信息内容描述在这个功能模块中间，系统会提供研究所流量统计的具体内容。研究所可以以此生成每个IP地址的记账信息实时流量查询日流量查询月流量查询,流量分析-记账信息,菜单选择：安全监测主机活跃度内容描述系统分析研究所内部每个IP地址对外建立Session的活跃度情况，网络管理员可以根据Session的活跃度来进行异常主机流量的监测。主机活跃度图分为三个部分，选择区域（上部），时间列表（中部），活跃度拼图（下部）,安全监测-主机活跃度,选择“类型”解释会话数：根据IP地址在特定时间和外部IP地址建立的session数量进行汇总PPS：根据IP地址在特定
14、时间和外部地址的每秒包（packets）交换数量汇总BPS：根据IP地址在特定时间和外部地址的每秒位（bits）交换数量汇总,安全监测-主机活跃度,内容描述统计报告为了向网络的管理者和研究所的管理者展现出本单位网络应用的情况，统计报告分为院网报告，分院报告和研究所报告流量应用分析报告每个月出一份，系统支持报告以PDF的格式下载,统计报告,院网报告分院报告研究所报告,报告分类,统计报告-应用名称分类,报表横轴为各种应用分类，纵坐标为流量值，本图对每种应用在一个月的流量情况使用柱图方式显示出来，每种应用一个柱子，分上行和下行组合，并对流量进行排序,统计报告,流量趋势报表,流量应用组成报表,报表横轴
15、为月报当月的日期，纵坐标为流量值，不同的颜色表示不同的应用。在趋势图中，不同的应用流量采用叠加的方式进行展示，可以从应用所占的面积来判断应用的大小,报表横轴为研究所内部Top 20的IP地址，纵坐标为流量值，本图以柱图方式显示了流量最多的Top 20月流量情况,统计报告,内部Top IP地址流量报表,外部Top IP地址流量报表,报表横轴为研究所外部Top 20的IP地址，纵坐标为流量值，本图以柱图方式显示了与研究所通信的外部地址流量最多的Top 20月流量情况,统计报告,内部IP地址P2P应用流量排名,外部IP地址P2P应用流量排名,报表横轴为研究所P2P应用流量的Top 20的内部IP地址
16、，纵坐标为流量值，本图以柱图方式显示了研究所P2P应用流量最多的内部Top 20地址的月流量情况,报表横轴为研究所P2P应用流量中的外部Top 20的IP地址，纵坐标为流量值，本图以柱图方式显示了研究所P2P应用流量最多的外部Top 20地址的月流量情况,统计报告,外部Web服务器流量排名,外部FTP服务器流量排名,报表横轴为研究所Web应用流量中的外部Top 20的IP地址，纵坐标为流量值，本图以柱图方式显示了研究所Web应用流量最多的外部Top 20地址的流量情况,报表横轴为研究所Ftp应用流量中的外部Top 20的IP地址，纵坐标为流量值，本图以柱图方式显示了研究所Ftp应用流量最多的外部Top 20地址的流量情况,报表横轴为研究所流量中Top 20的IP地址对，纵坐标为流量值，本图以柱图方式显示了研究所流量最多的通信对的流量情况,统计报告,IP地址对流量排名,报表横轴为每个研究所，纵坐标为流量值，本图使用柱图的方式显示了分院内研究所的月流量情况，每个研究所一个柱子，分上行和下行组合，并对流量进行排序,统计报告,研究所流量排名报表,谢谢,
