1、大规模、高密度、多厂商无线网建设的挑战与思考,北京大学计算中心 张蓓2016年10月27日,我们的问题,遍地都是无线网，还是连不上，被学生频吐槽，为什么？校长忘了登网关，无法看论文，抱怨无线网不好使，为什么？无线信号好强，微信总在转，好慢，为什么？学校投了好多钱，师生还是不满意，校长苦恼，我们抱屈IT狗必须认真思考！,2,无线网 连网线 + 分地址！,我们的目标,拒绝连不上！拒绝被挤掉！拒绝反复登录！像机场酒店一样使用便利！像有线一样稳定流畅！,3,使用WiFi像使用4G一样方便！,我们的挑战,需要提供无穷多的IP地址，可是全球IP地址已于2011年告罄移动终端频繁申请IP地址，你的DHCP无
2、法承受业界各款认证技术与计费无关，校园网无法简单落地你无法保证校园网只用一个无线品牌，一走就掉线,4,理想很丰满，现实很骨感！,快速发展的无线网：北京大学编年史,5,增加60倍,特点,规模大覆盖楼宇多、AP数量多用户多、终端多、流量大密度高教室、图书馆学生宿舍大礼堂、体育馆品牌多管理平台多、控制器多互相不兼容,6,何谓大规模AP数量多,楼宇数量大一般采用分期分批建设不同阶段覆盖方案不同早期，一般是重点区域覆盖新建，一般是全面覆盖 大规模分阶段覆盖品牌多，网管平台多控制器多，AP多,7,何谓大规模在线用户数量大,8,约3.3万人,何谓大规模无线增长快,9,无线略多,1 : 3,何谓大规模流量大,
3、10,无线网络万兆出口1：学生宿舍区,无线网络万兆出口2：办公与教学区,5.7G,1.5G,挑战,用户拿不到地址，上课登不上无线，学生抱怨大用户数量增长快，行为差异大，如何调整地址分配策略地址总变，需要反复登录，上网感受差多厂商之间不漫游，感觉总断网同厂商控制器之间也不能漫游，并不像吹的那么美好花架子，性能压力大，大规模下无法启用Aruba最多支持1000-2000个用户漫游上网登录页面不自动弹出，上网感受差哪种登录方式都不完美802.1x：不开放，无法与计费网关联动，欠费打不开，改密码后会出错Portal：依赖控制器，依赖客户端，有时弹不出，无法跨厂商,11,拒绝连不上、被踢掉，像有线一样稳
4、定流畅！,要有足够的IP地址要有科学合理的IP地址分配策略要有坚实鲁棒的DHCP服务器要有精细的AP数量设计和位置设计，减少信号干扰要有良好的无线主干网设计和AC控制器设计，保障流量畅通,12,IP地址的挑战,DHCP的地址池多大合适？有线网络传统的设计，通常与以太网的冲突域相关，一般为1-2个C利用新兴的技术手段，例如大二层、端口隔离等，可以突破冲突域的限制，可以设计为4个C，16个C，甚至1个B无线网络根据用户量分析，一般按照用户数量的1.5-2倍设计地址池,13,DHCP Pool的演变历史,2002-2006年，起步阶段用户量较小，因此和有线网络采用了同样的策略公有地址，在校园网现有地
5、址段里划出若干个C（不连续，没有规律）公共教室、图书馆和公共区域，单独为无线网络分配地址段，1C/Pool部分科研办公楼，不区分有线IP和无线IP，混用，1C/PoolLease时间，一般与有线网络相同，4个小时；2007-2009年，公共区域、教室楼全面部署高密度无线用户量逐渐增多，上大课出现用户拿不到IP地址现象公有地址，规划出64个连续的IPv4地址，专用于无线网络公共教室、图书馆、公共区域，按楼层分配地址段，例如：二教4个Pool， 1C/Pool随着用户量逐渐增加，为保证vlan id不变，逐步扩展到2C/Pool考虑到更好的利用地址池，lease时间逐渐从4小时、2小时，缩短到1小
6、时,14,DHCP Pool的演变历史,2010-2014年，用户数量激增2011年5月9月，北京大学校园网内出现的用户终端统计，无线用户占总用户数量的51.6%，有线用户和无线用户数量对比发生反转公有地址，专门申请了1个B的IP地址，专用于无线网络公共教室、图书馆和公共区域，4C/Pool科研办公楼，2C/Pool学生宿舍楼无线方案测试，初期1个楼4个C，后期部分宿舍楼分配8个CLease时间：由于用户越来越多，需要的IP地址也逐步增加，为了更合理地利用1个B的地址空间，因此尝试对DHCP服务器进行代码修改，对lease时间进行阶梯型增加：第一次30分钟；第二次60分钟，第三次120分钟把移
7、动用户仅仅因为路过而拿到的地址尽快释放出来，从而达到节省IP地址的目标后续ISC DHCP的新版本也支持了这项特性,15,DHCP Pool的演变历史,2015-2016年，人均终端数增长明显根据网管数据计算，人均1.25个终端，目前仍在逐步扩大中每间宿舍1个面板AP，宿舍晚间IP地址需求量巨大公共教室、图书馆、公共区域全面升级改造，用户量增加2015年8月无线全面改为私有地址，并根据功能区划分地址公共教室、图书馆、学生宿舍和公共区域，4C/Pool科研办公楼，2C/PoolLease时间，考虑到私有地址空间较大，目前lease时间改为固定的1小时既考虑到合理利用地址空间，也考虑到尽快释放已离
8、开终端占用的地址对DHCP服务器的性能提出了很高的要求,16,北京大学无线网络IP地址分配的历史,17,2002年2015年无线网络采用公有地址（115.27.0.0/24）,北京大学无线网络IP地址分配情况（2016年10月）,18,大规模IP地址管理的挑战,无线用户的终端，特别是手机的大量出现，对DNS的查询压力明显增加手机的移动性特征，对DHCP产生了大量无效租约信息过快的在不同DHCP Pool之间移动会造成IPv4地址快速消耗需要DHCP服务器能够识别客户端增加安全性能够快速释放租约保证IP地址的活跃有效同时具有高性能LPS，保证在快速释放租约的同时保证可靠的性能,19,IP地址的管
9、理,IP地址的管理几个方面DNSDHCPIPAM ，IP Address Management引入新名词：DDIGartner在2009年的报告中，强调核心网络服务的重要性。在这份Report当中在首先提出DDI 这个名词，来代表这个市场 DNS，DHCP & IP Address Management (IPAM) DDI,20,DDI通常存在的问题,使用ISC 提供DNS Bind/DHCP的开源服务器，单台服务器性能有限多台DNS服务器（无线网络3台），在负载均衡后面，随时监控系统状态，当某一单机DNS出现性能问题时，重启单台DNS服务进程多组DHCP服务器（双机Failover机制），
10、负责校园无线网络（2组）+备份（1组）DDI整体管理效率问题DHCP、DNS、IP管理系统由分别由不同老师各自进行管理，整体管理效率有待提高部分院系部署并管理自己的DNS，各院系管理参差不齐的管理水平容易导致DNS遭受安全攻击IP地址管理较为混乱主要通过Excel电子表格，由多个网络管理员进行管理,21,高性能的DDI统一管理平台,22,统一管理DNS两台高性能DNS硬件服务器，采用HA架构，对外虚拟成一台统一的DNS服务器，具备安全防护机制根据型号不同，QPS：40K-200K,统一管理DHCP两台高性能DHCP硬件服务器，采用HA架构，对外虚拟成一台统一的DHCP服务器根据型号不同，LPS
11、：60-1000,统一管理平台统一的管理平台，实现DNS、DHCPv4、DHCPv6、IP地址管理，管理简单化厂商：Bluecat、Infoblox等,无线网准入认证的挑战和解决方案,多厂商、多控制器无线网准入认证的主要问题多厂商之间支持方式不同同厂商之间版本不同，支持方式不同802.1x问题Portal问题自主研发线网准入认证网关技术优势完全透明，与设备无关，广纳天下贤能，招谁都不怕可与计费网关联动，支撑个性化计费政策支持自动弹出认证Portal，兼容性好，符合用户使用习惯,23,无线漫游和无感知认证的挑战,大规模无线网络的提供，用户可以随时随地的获得无线信号，必然要求不间断的上网体验。不间
12、断，意味用户认证需要保持两方面的不间断：无线网络的用户准入+校园出口的准出与计费,24,无线漫游的挑战,每一厂商都有无线漫游的解决方案，但实际情况是：控制器之间漫游，限制太多，无法实现控制器软件版本的一致AP的硬件问题，版本低不支持新型号AP，版本高不支持老型号AP控制器的硬件问题，老控制器有一个版本的上限，新控制器有一个版本的下限分阶段购买的AP和控制器，无法保证在统一的版本上不一致的软件版本，只能实现有限的漫游功能控制器配置的一致为保证在不同控制器上实现漫游，必须把所有配置（SSID、VLAN）等信息都配置在所有控制器上，造成控制器的配置复杂，每一个细微参数的修改，都可能要求所有控制器一起
13、修改，配置管理成本很高,25,无线漫游的挑战,每一厂商都有无线漫游的解决方案，但实际情况是：控制器之间漫游，要求太多，无法实现用户漫游在控制器之间交换用户信息量巨大小规模用户情况下，在控制器之间交互单一或少量用户数据的机制是可行的大规模用户情况下，控制器要交换、保留所有的用户认证数据，数据量太大，对每个控制器的压力都会很大实际的测试效果，在不同的硬件控制器之间的用户信息交换，一般可以维持在在1000-2000个终端左右主流厂商都有各自无线漫游的解决方案，但是：各自为政，互不相通，没有统一标准,26,无线漫游的出路,通过上面的分析得出结论单一厂商的无线漫游和无感知，不靠谱跨厂商的无线漫游和无感知
14、，就没有只能靠自己想办法，提出解决方案,27,拒绝重复登录，无感知认证的挑战和解决方案,自主研发了跨平台无感知认证系统技术优势全校漫游，再也无需重复登录完全透明，与设备无关，广纳天下贤能，招谁都不怕优异的可扩展性，可代管其他院系的控制器，全校无感知每个月重新登录一次，周期可调整，平衡安全和便利的关系,28,无线网络的用户准入,用户认证相关技术Portal+自动跳转无论是PC或者手机，通过浏览器跳转都是简单的做法，但是有可能第一个发起http请求的是后端的应用程序或者APP，跳转页面可能并不能弹出浏览器进行用户认证；未来大量的连接是https，很难进行https劫持采用Captive Porta
15、l，iOS系统可以自动跳转到认证界面，Andriod系统依赖于不同手机厂家的具体实现。有的弹出认证界面，有的给出一个系统通知，而有的完全没有反应,29,无线网络的用户准入,用户认证相关技术802.1x在系统端可以很好的完成准入认证，多厂商对于Radius支持也较好，用户准入没有问题；802.1x是基于二层的认证，而校园准出是基于IP地址的，如果和准出联动，实现校园准出的无感知还需要其他系统配合连动，成本较高802.11u和WiFi联盟Passport基于MAC地址,30,无线网络的用户准入,用户可选择的登录方式登录Web Portal客户端厂商客户端：仅支持本厂商的设备，跨厂商无法实现；第三方
16、客户端或自建的客户端：需要维护多个版本：Windows、MacOS、iOS、Andriod、各种linux无论是自己编程、还是购买，后期升级维护成本都很高无感知认证完全依赖于厂商实现，跨厂商没有标准，无法实现,31,校园出口的准出及计费,大部分的用户认证计费系统是基于IP地址的一旦IP地址发生变化，用户需要重新认证大规模无线网络的提供，用户可以随时随地的获得无线信号，必然要求不间断的上网体验。不间断意味着（无线准入+出口准出）都不断。出口准出不间断要求：IP地址不变，用户与IP地址对应关系保持不变或者在地址变化时，动态修改用户与IP地址的对应关系,32,无线网自动IP地址授权系统AIA,校园网
17、无线用户每次连接Wireless PKU后，都需要通过网页或者客户端程序认证才可以使用无线网。为了改善用户上网体验，提出了采用DHCP触发机制实现基于MAC地址的无感知认证解决方案，可以让用户只需一次登录，就可以持续一段时间内（比如：1个自然月）无需认证就可以直接使用无线网络。,33,自动IP地址授权的原理,基于DHCP服务器触发的AIA触发器：一旦DHCP服务器中IP地址租用发生变化，就会调用触发器将相关信息发送给AIA代理服务。AIA代理服务：接收AIA触发器关于IP地址变更信息，根据AIA注册数据库中的信息决定是否自动开通相应IP地址的联网权限。AIA注册数据库：保存移动终端MAC地址注
18、册数据，包括UID、有效期、联网权限等。AIA注册服务：实现MAC地址注册信息的增加、删除、查询等功能。AIA自动注册服务：通过无线网络认证的日志信息，自动注册移动终端的MAC地址。,自动IP地址授权的优势,技术优势完全透明，与设备无关，广纳天下贤能，招谁都不怕可与计费网关联动，支撑个性化计费政策支持自动弹出认证Portal，兼容性好，符合用户使用习惯目前服务覆盖区域公共区域、部分教学区、部分科研办公区使用效果良好,35,超高密度无线网的挑战和解决方案,主要任务：邱德拔体育馆无线网建设我们的失败2015年开学典礼设计：采用了72个内置全向天线的AP，均匀部署在观众区中间单台AP实际测试的接入能
19、力都超过150个终端，计划单AP覆盖100个终端 实际效果：在线终端数到达1500台时，就再也升不上去了 测试分析：离AP距离1-5排，基本可以获得地址，可以上网，速度很慢；超过5排，信号满格，基本无法获得地址，即使获得地址，也无法上网,36,超高密度无线网的挑战和解决方案,主要问题密度问题终端密度用户终端基数大、密度超高，发射功率不受控制，产生的冲突难以有效避免AP密度数量较多、密度较高，场地开阔，使用全向天线AP难以有效控制冲突域频谱资源2.4G频段仅有3个可用信道，超高密度部署时难以有效避免同频干扰；非Wi-Fi干扰（蓝牙、无线麦克风等）难以避免5G频段中国大陆目前有13个可用信道，是超
20、高密度无线网络的首选,37,超高密度无线网的挑战和解决方案,主要问题接入速率低速率接入相对扩大了AP的覆盖范围，提高了信道使用率、扩大了冲突域关闭低速率连接用户限速单用户限速，避免个别用户长时间占用带宽和信道资源，保证所有用户可以公平使用网络,38,超高密度无线网的挑战和解决方案,我们的成功经验指导思想5G为主，2.4G辅助通过SSID的设置引导用户使用5GWireless PKU，原有SSID，在场馆内只面向5G用户Wireless PKU-2.4G，新增SSID，只面向2.4G用户使用定向天线，有效控制冲突域降低AP功率、关闭802.11b，缩小单颗AP覆盖范围，进一步控制冲突域手动规划信
21、道，最大限度减少同频干扰、邻频干扰单用户限速,39,超高密度无线网的挑战和解决方案,我们的成功经验,40,2016年7月5日，本科生毕业典礼签到3000人，终端总数2945（98.2%），峰值在线终端2300，传输170GB2016年7月6日，研究生毕业典礼签到4300人，终端总数3398（79.0%），峰值在线终端2700，传输300GB2016年9月5日，开学第一课第一场：峰值在线终端2314，第二场：峰值在线终端33272016年9月6日，开学第一课第三场：峰值在线终端31192016年9月9日，开学典礼现场7000人，终端总数5569（79.6%），峰值在线终端4530，传输150GB,超高密度无线网的挑战和解决方案,我们的成功经验看台覆盖方案利用看台间的栏杆固定AP及天线，根据看台各区域座椅分布情况，选择不同夹角的定向天线定向天线的夹角决定了天线的安装位置前后放置或左右放置根据看台固有的坡度调整天线角度，避免信号被靠近天线的观众遮挡,41,超高密度无线网的挑战和解决方案,我们的成功经验看台覆盖方案,42,超高密度无线网的挑战和解决方案,我们的成功经验场地覆盖方案AP吸顶安装，向下覆盖场地内区域,43,超高密度无线网的挑战和解决方案,与成功案例的比较,44,大规模的无线网学校内的典型场景小结,45,敬请批评指正，谢谢！,北京大学计算中心 张蓓2016年10月27日,
