1、 运维风险预估措施 部门 运维部 版本编号 Ver_1.0 日期 2014-05-20 密级 公司内部使用文档信息文档名称 服务器故障应急措施方案日期 版本号 更新说明2014-05-20 Ver_1.0 建立文档、初始化一、 服务器风险预估1. 服务器被攻击 1.1. 拒绝服务攻击拒绝服务攻击的方式很多，主要常用的攻击手段有 SYN Flood、UPD 洪水、IP 欺骗攻击、CC 攻击。防范 DDOS 攻击首先要能够检测到，并且及时做出响应，才可以防范。SYN Flood 通过 TCP 三次握手的原理，服务器如果出现第三次握手包迟迟收不到，将会占用服务器的内存资源，攻击者在较短时间内伪造大量
2、不存在的源 IP 地址数据包进行攻击，将会耗尽服务器的内存资源，最后无法提供正常服务。根据 SYN Flood 的攻击方式，可见动态的根据攻击流量进行设置 TCP 第三次握手的超时时间是降低攻击效果的主要方法。1.2. 入侵检测 遭受黑客入侵不可怕，可怕的是被入侵还不知道，这就需要部署一台入侵检测设备，可以使用开源的 Snort 进行部署，但是 IDS 的误报率会很高，而使用 OSSIM 的关联分析功能就可以减少很多误报。1.3. 防火墙防护将服务器放置在防火墙的 DMZ 区域，通过对防火墙进行配置可以避免外网对服务器进行端口扫描，从而提高服务器的安全。放置在 DMZ 区有另一个好处就是可以保
3、护内部网络。2. 内部环境安全2.1. 防止 ARP 欺骗攻击通过在交换机的接口进行 MAC 绑定，实现终端设备的接入控制，这样就可以防止恶意用户的接入。终端电脑绑定网关的 MAC 地址，以防攻击者欺骗网关。对 ARP 数据包进行检测，防止 ARP 洪泛攻击。2.2. 可信任主机接入在交换机端口下，对 IP 地址与 MAC 地址进行绑定，可以限制特定用户对网络进行访问，其余的用户无法接入网络。2.3. DHCP 欺骗攻击在接入层网络伪造一台 DHCP 服务器，将所有的网络流量指向黑客创建的伪造网关，所有到伪造网关的流量都会被分析，并且通过伪造 DNS，把国内一些大站点的域名指向钓鱼网站，或者放
4、入最新的溢出漏洞夹杂在页面中，造成的危害会很大。通过在交换机上配置 DHCP 可行端口进行防范 DHCP 的欺骗攻击。3. 安全配置3.1. 帐户密码安全root 进程指的是只有 root 用户的权限才可以启动的服务，通过 root 绑定 1024 以下的端口，这样可以防止恶意用户开启低于 1024 的端口进行欺诈攻击。用户密码放置在以下路径中：/etc/passwd/etc/shadow可以通过预定的安全策略对密码进行定期修改，并且强制设置高强度的密码，以及使用目前加密强度最大的加密算法，防止被爆破以及 APT 攻击。3.2. 远程访问安全禁用明文密码传输的 telnet 远程访问协议，使用
5、安全 shell（ssh）保障数据的安全交换。3.2.1. 修改 ssh 服务 root 登录权限修改 ssh 服务配置文件，使的 ssh 服务不允许直接使用 root 用户来登录，这样减少系统被恶意登录攻击的机会。3.2.2. 修改 ssh 服务的端口号ssh 默认会监听在 22 端口，通过修改至 6022 端口以避过常规的扫描。注意：修改端口错误可能会导致你下次连不到服务器，可以先同时开着 22 和 6022 两个端口，然后再关掉 22 端口；重启 sshd 不会弹掉你当前的连接，可以另外开一个客户端来测试服务 ;3.2.3. 阻止任何人 su 作为 root通过禁止普通用户切换到 roo
6、t，但可以设置一组特殊用户切换，降低了服务器被提权的风险。3.3. 审计系统日志对系统日志、关键应用日志进行定期自动异地备份，可用来做故障排错，故障提前报警，也可以防止被黑客为了抹掉登录痕迹而删除，目前对最前沿的日志审计系统是 SOC，全称为安全运维中心，可以对各种网络设备、服务器、终端主机进行日志审计，并且做出关联分析。3.3.1. 减小 history 缓存命令条数对于 linux 系统来说，有一条 history 命令，可以记录用户所输入的命令，如果命令中涉及一些密码或者敏感的操作，将会被黑客利用。通过设置 bash 的环境变量可以设置 history 缓存命令的数目。3.3.2. 注销
7、时删除命令记录注销用户的时候就自动清除 $home/.bash_history，历史命令只是对当时用户在调试服务器时会用到，当用户退出 tty 线路自动清除可以防止泄露服务器的历史配置命令，如果有需要可以异地备份。3.3.3. 对 auth.log 进行定期分析在文件系统/var/log/auth.log 的文件下，保存了登录操作系统的时间、ip 地址、用户名，对这些日志进行定期分析，可以查出那些未授权的用户登录过。3.4. DNS 安全服务器系统的 Dns 被篡改成用于欺诈与钓鱼的 dns，将会导致下面连接代理上网的终端被钓鱼网站欺骗，用户信息窃取等情况出现。4. 服务器环境操作系统本身几乎
8、每天都在更新的，如未能及时打上补丁可能会被攻击，网络如果出现 linux 的0day 漏洞，就必然会有相应的批量拿站的工具出现，所以危害很大，那么就需要进行定期更新，但是由于公司的服务器都是在生产环境下的，升级操作系统可能会带来风险，建议可以使用影子服务器进行测试，之后才让生产环境的服务器进行升级，这样可以降低风险。更新操作系统的流程：4.1. 筛选需要进行更新的补丁，对严重影响服务器系统安全的补丁，以及影响服务器业务的补丁，列入更新列表。4.2. 验证测试环境下做更新测试，测试更新成功后进行升级。4.3. 获得业务系统所有人的授权4.4. 申请维护时间窗口，尽量选择在网络流量低峰时期。4.5
9、. 升级系统之前，需要对数据进行备份，并且准备回退方案。5. 服务器负载问题5.1. 数据超过硬盘读写负载能力导致应用程序崩溃；5.2. CPU 使用率跑满导致服务器宕机；5.3. 使用内存 cache 占用过多导致宕机；5.4. 硬盘空间使用满导致宕机；5.5. 用户量过多，服务器带宽不足，导致卡顿，用户访问程序故障；5.6. 系统连接数过多造成系统拥堵网络带宽使用不上；5.7. 数据库数据读写占用过多服务器连接数，达不到预期的服务器带宽；6. 服务器硬件故障6.1. 电源线损环；6.2. 服务器电源损坏；6.3. 服务器非人为硬盘损坏；6.4. 服务器受黑客入侵攻击时导致硬盘损坏；6.5.
10、 CPU 温度过高烧毁；6.6. 内存使用中损坏；6.7. 主板在电源损坏时容易烧毁；二、 运营商风险预估1. 机房网络故障1.1. 骨干网光纤切割；1.2. 机房网络升级；1.3. 机房网络设备调试；1.4. 机房网络设备损坏;1.5. 骨干网网络出口故障；2. DNS 域名解析缓存每一个域名，在服务商那边都有一个 DNS 服务器，作用是把利于用户记忆的域名转换成计算机方便理解的 IP 地址，在域名管理中，其中一项就记录着你的域名指向，术语叫 A 记录，用于指向一个 IP地址。但是并不是每次访问你的网站，都会去你的服务商 DNS 服务器查询 IP 地址。通常你所在的城市ISP（网络服务提供商
11、）都会有一个 DNS 服务器，他会在你第一次访问时缓存你的域名指向。下次你再访问时，他会从缓存里把你曾经指向的 IP 调出来。3. 政治因素3.1. 服务器没有备案；3.2. 域名备案存在问题；3.3. 黑客入侵导致服务器违法行为；3.4. 违规代理服务器；3.5. 服务器转发违禁网站；3.6. 服务器放置的网站内容不符合当地的政府法例法规；三、 故障处理1. 划分故障等级故障级别 故障说明 故障处理第一步级（紧急）当系统出现下列相当严重的现象时，属一级故障：系统整体瘫痪，全部操作失去响应发生间歇性、随机性、重复性的启动或应用退出，无法保障公司业务的正常处理核心业务、用户数据受到入侵，系统与应
12、用数据被篡改立即汇报上级级（重要）当系统出现下列比较严重的现象时，属二级故障：关键部件（含软、硬件）停止工作，导致系统降低运行状态，客户业务受到严重影响 重要数据、参数和配置信息损坏，无恢复，导致客户数据及业务记录严重损失 部分页面被恶意篡改，涉及非法内容立即汇报上级级（关键）当系统出现下列现象时，属三级故障：应用功能部分停止运作，影响业务应用出现中型 BUG，或者是报错网络访问速度慢，或者响应慢部分用户反馈异常立即汇报上级级（告警）当系统出现下列情况而不影响客户业务时，属四级故障：应用功能部分停止运作，不影响业务应用出现小型 BUG，或者是报错网络访问速度较慢，或者响应较慢少数用户反馈异常故障排错流程2. 应急处理流程判断故障等级级（紧急） 级（重要） 级（关键） 级（警告）汇报上级 汇报上级 汇报上级故障处理流程记录发生时间故障处理流程 故障处理流程 故障处理流程记录发生时间 记录发生时间记录发生时间问题处理完成服务器故障处理完毕服务器出现故障3. 故障处理流程否 是否是4. 故障报告邮件格式故障处理开始判断故障等级是否属于级或级联系相关部门的技术人员处理故障尝试访问故障点，并且验证是否解决问题故障处理完成汇报总部技术总监发送邮件给相关人员（包括客服）收到技术人员故障处理完成的通知
