阿里云：大型互联网应用架构之分发和存储实践.doc

1、1 月 31 日，阿里云课堂在北京再次开课，聚焦于“ 大型互联网应用架构之分发和存储”的技术和实践分享。由阿里云 Web 平台组研发专家姚伟斌（花名：文景）和阿里云飞天存储服务研发高级专家李文兆担任讲师。14：00 点不到，架构师、工程师和实践用户已经将260 人的会场挤的满满当当，最后进来的小伙伴们只好站在了后排的通道中。现场为何如此火爆？这和议题密切相关。CDN 和存储，前者是提升用户满意度，留存率和转化率的关键，后者是云计算最基础的服务之一。二者的重要性自然不言而喻。阿里云 CDN 技术演变之路众所周知，在国内如此错综复杂的网络环境（中国电信、联通、移动、中国教育网、铁通等）中，要将源站

2、内容分发到全国所有节点，缩短用户查看对象的延迟，提高用户访问网站的响应速度和网站的可用性，解决网络带宽小、用户访问量大、网络分布不均等问，只能依靠内容分发网络（CDN）。阿里云 Web 平台组研发专家姚伟斌CDN 的用途：加速：如图片、css、js 等，视频流媒体，动态内容， SSL、SPDY 等；源站保护：如 4、7 层 DDoS 攻击防御，WAF 等。CDN 如此重要。以至于在最初的图片 CDN 应用之后，2008 年淘宝已着手建立自己的CDN。多年积累下来，一线机房布局完整，技术也比较成熟。2014 年 3 月，阿里云正式商用 CDN 时，已经发展至数百节点，覆盖 30 多个国家，单节点

3、 10 台机器拥有 40Gbps吞吐能力。海外也已经有 30 多个节点。微博、唱吧、雪球都是 CDN 服务的典型用户，效果对比极为明显。2015 年，姚伟斌表示：“图片 CDN 和阿里云 CDN，逻辑配置和节点都已经共享，一切都在云上。”CDN 加速原理仔细看 CDN 关键组件，可以分为以下几个部分：IP 库： APNIC、Maxmind 等数据源多样，通过淘宝收货的 IP 地址进行校正；ECS?用户可以免费调?用。调度系统：通过地域和监控实现调度。节点缓存系统：内存、SSD、SATA 三级缓存，支持各种尺寸的文件，热点实现自动迁移，访问速度快。配置系统：按需加载、更新，10 万域名的配置约消

4、耗 500M 内存，全网分钟级别的配置?生效，高可靠、可运维。刷新系统：Notify 机制，利用 cache 下载，自定义 hash key，支持多副本刷新等。日志系统：支持多台目标服务器负载均衡，10 分钟左右即可将线上日志传到 OSS，每天数百 T 的离线日志写入 ODPS 进行数据分析。姚伟斌还重点介绍了应用加速方案，包含 TCP 协议栈优化，动态内容加速（内容优化、路由优化），视频和大文件，无线加速等。值得注意的是，CDN 和安全往往密不可分。在 4层和 7 层 DDoS 攻击防御时，CDN 和云盾（阿里云安全服务）的配合尤为密切。姚伟斌举了一个 7 层攻击的案例：“ 日前，针对一个小

5、站突然遭受了攻击，响应约 15KB，规模约15 万 QPS，阿里云抵挡了 99.4%的攻击，节省了 17G 的流量，有效保证了用户的服务。”开放存储架构以及应用实践作为阿里云最基础的云服务之一，开放存储服务（OSS）是基于飞天平台，提供“ 高可用性、高可靠性，海量的对象数目，任意大小数据对象，公共服务，安全”的存储服务。李文兆在题为“开放存储架构和应用实践” 的分享中，重点谈到了 OSS 的设计原则：硬件故障透明，数据的多份拷贝分布在不同机架/机房，易扩展（容量扩容，自动应对爆发式访问），各层都要考虑到安全。阿里云飞天存储服务研发高级专家李文兆开放存储服务架构是用户请求到云盾，再到负载均衡，然

6、后是前端的协议接入层（协议处理、访问控制、QoS），数据访问层（分区、索引），持久存储层（持久、冗余、容错）。其中主要概念有四个：Service：OSS 提供给用户虚拟存储空间，每个用户拥有一个到多个 Bucket（普通用户最多 10 个）。Bucket：Bucket 是 OSS 的命名空间， Bucket Name 在整个 OSS 具有全局唯一性。Object：在 OSS 中，每个文件都是一个 Object。AccessKeyID、 AccessKeySecret：安全标识，为访问 OSS 做签名验证。具体来看：Bucket 在功能方面，包含创建/修改/ 读取/删除，ACL（私有、开放读，开

7、放读写），防盗链，访问日志归档，异地数据容灾（如杭州、青岛、北京、香港等数据中心都部署了OSS，在某地创建之后，部署到其他节点）等。Object 在功能方面 ，也包含创建 /修改/ 读取/删除，Multipart Object 与断点续传，URL 签名，Put 与 Post 不同使用场景等。为了加深大家对 OSS 的使用感受，李文兆特别举了一个例子：手机端图片云存储的企业架构优化图一家互联网创业企业，业务是手机端图片云存储。比如帮助用户在本地存储缩略图，节省手机空间；提供云照片冲印等。创业之初，他们的 IT 架构很简单，通过阿里云的虚拟机，搭建 Web App Server，最初 2-3 台的

8、时候可以，但扩展到 40-50 台的时候，计算资源和存储节点都不够用（因为云磁盘限制在 8TB，数据在向上扩展，需要继续横向扩展磁盘）。而最初他们的架构这方面考虑的不多，如果在云磁盘的基础上增加，一方面存储容量扩容有限，另一方面存储性能扩展需要修改，最关键的是图片尺寸和类型各异带来处理极为费劲。这样情况下，通过 OSS 和技术上的优化，实现了架构的改变。数据直接从用户端上传到 OSS，AppServer 只是控制流，所以带宽可以节省下来。通过 URL 签名，帐号密码等都存储在 App Server 上，用户需要服务的时候，App Server 在几秒钟或者几分钟有效的方式，返回到手机端，通过手

9、机端写入，非常安全，而且节省带宽。当用户数量越来越多，为节省资源提升服务，可以做读写分离，读通过 CDN 和存储（图片服务），实现图片压缩和类型转化。总结下来就是：用 OSS 解决存储瓶颈；用图片动态服务生成各种图片；读写分离；弱安全容器访问 OSS；表单提交和跨域访问；数据单走 OSS 减少 VM 台数；Cname 屏蔽 OSS 域名，保持了切换的灵活性。不止如此，通过阿里云的北京、青岛、杭州、深圳、香港的数据中心，企业还能轻松实现异地容灾和就近回源。事实上，OSS 作为阿里云的基础服务，目前已经应用的十分广泛：不仅有微盟、有道、得图这样的创业公司，还有联想、宏基这样的传统企业，以及公安部、

10、贵州政务系统等。精彩问答阿里云课堂为架构师、工程师和实践用户们留下了充足的与讲师的互动时间。在提问环节，小伙伴们的问题质量都很赞，专家们的回答同样极为精彩。问：CDN 如何支持游戏架构？没有对特定行业做优化？答：目前阿里云 CDN 更多是针对场景来做的产品，比如分发，动态链路优化等。是针对手游、页游、端游等游戏，其中如安装包下载（流量大），网页的动态加速，四层攻击的防御等都是共性需求而涉及的。问：服务上线之前都需要做测试。阿里云的产品测试是用迭代压力还是线上来做？设计的架构是怎么样的？答：在研发方面都需要测试。开发软件要有单元测试的覆盖率，要到 50-60%。开发做测试后，会提交给 QA 进行

11、黑盒测试，然后放到日常环境（完全测试环境），用应用来做流量测试。最后才会放到线上，做几个几点的灰度测试，看功能；然后节点慢慢增多，最终做到全网。问：面对可以预计的剧增的访问量，如何在上线之前，保证架构设计的弹性？有没有什么经验可以分享？答：在系统设计之初，要预留一个一个数量级来准备。比如 CDN 刷新系统，几千的量级，但可支持到几万。在配置系统方面，1-2w，而跑到 100w 是可以的。CDN 能否服务 1000个节点，100 万的用户等，要用目标来设计系统。而随着用户的增多，一些特殊需求也要持续优化。比如淘宝 CDN 重视的是稳定性和服务能力，而阿里云面对海量用户，设计点是不同的。所以摄制之

12、初，要有预留。问：CDN 和云盾的关系？答：架构是一致的。尤其是在防 4 层，500GB 以上的攻击规模。CDN 前面是有特殊设备做抵挡的，发现攻击做清洗后才会转到 CDN 上。7 层，云盾也和 CDN 密切配合。WAF也是。问：CDN 服务如何计费？是分发区域，文件大小，带宽占用等么？答：我们是按照流量计费和按照峰值带宽两种计费模式。问：流媒体，传统 CDN 做静态视频放到 CDN 上。直播类的场景如何解决？答：M318 和 TS 文件。对延迟较为敏感。预设到 CDN 中。RTMP 等方式也在测试中。问：存储方面有没有其他的文件转换服务？比如 PDF 转成 PPT，还有视频转化服务？答：图片

13、转换服务是有的。图片转码服务已经在公测，很快会对外商用。PDF 转成 Word等，还没有，但要看需求，后面会考虑。问：怎么看待 TFSS？答：TFSS 在业内也有很多企业在用。我知道的就有企业自己搭建的 TFSS 用了一百来台这样的机器。但随着规模的扩大确实遇到了一些问题，现在和我们沟通，想迁移到 OSS上。问：S3 实现了弱一致性。而 OSS 是三份写入实现强一致性。如何考虑的？答：我们确实做到的了强一致。就是说写下去以后它的数据就是一致的。写是一个过程，要注意提高它的存储和数据写入的一致性。当写到数据中心的时候，已经有 3 份备份了。比如说我们的城市被光缆因为各种原因被断了，可以将数据从杭州同步到北京，或者更远同步到美国来保证数据的安全。问：服务器 ECS 是否建立在存储上面？磁盘的性能包括存储的性能，他们中间的读写是多少？有没有限制？比如说在 ECS 限制上是多少？答：我试着回答一下，最好是到阿里云官网直接找客服。ECS 不是建立在 OSS 之上的，其是建立在一套类排骨的，可以随机插写的一套分布式文件上面，也就是说它的虚拟机本身的存储是建立在类排骨的分布式文件系统上面的，OSS 是 HTTP 的协议出去的。那套类排骨的文件系统可以理解为直接加载进去就是快设备，所以其性能跟 OSS 的性能是无法比较的。