全面升级 详解高级格式化4K扇区硬盘.doc

1、全面升级 详解高级格式化 4K 扇区硬盘 最近不少硬盘产品都戴上了高级格式化的帽子，比如西部数据的 1TB 绿盘、希捷 2TB Barracuda Green 低功耗硬盘和希捷最大标准厚度的 750GB Momentus 笔记本硬盘等等，那么究竟什么事高级格式化硬盘呢？ 什么是高级格式化？ ? 高级格式化是国际硬盘设备与材料协会（ International Disk Drive Equipment and Materials Association， IDEMA）为新型数据结构格式所采用的名称，它定义了硬盘介 质上所用基本扇区大小的增长量级。新的 IDEMA 标准规定，硬盘扇 区大小将从 5

2、12 字节变为 4096（ 4K）字节。 ? 硬盘行业正在经历一次变革。近年内，在存储密度大幅增长的同时，作为硬盘设计最主要因素之一的逻辑块格式化大小（也称为扇区）却仍然没有变化。 ? 自 2009 年发轫， 2010 年加速， 2011 年力争成为主流，硬盘公司正在从传统的 512 字节扇区迁移到更大、更高效的 4096 字节扇区（一般称为 4K 扇区），国际硬盘设备与材料协会（ International Disk Drive Equipment and Materials Association， IDEMA）将之称为高级格式化。 背景 ? 30 多年来，硬盘上储存的数据都要格式化到小的

3、逻辑块中，这种逻辑块称为扇区。传统的扇区大小是 512 字节。实际上，现代计算机系统很多的设计方面仍假设硬盘扇区采用此基础格式标准。 硬盘介质上的传统扇区布局 ? 传统扇区格式中包含间隙（ Gap）、同步（ Sync）和地址标记（ Address Mark）、数据和纠错代码（ EEC）部分。 ? 上图 Gap、 Sync、 Address Mark、 ECC 的含义是什么？ 间隙（ Gap）部分：间隙，用于分隔扇区。 同步（ Sync）部分：同步标记，用于表示扇区开始处并提供计时对齐。 地址标记（ Address Mark）部分：地址标记，包含可识别扇区号和位置的数据。还可提供扇区本身的状态。

4、 数据部分：数据，包含所有用户数据。 EEC 部分： ECC 部分包含用于修复或复原读写过程可能受损的数据的纠错代码。 为何要采用高级格式化 高硬盘容量和纠错效率方面的限制性设计因素。例如，将以前的扇区大小和总容量的比率与最近硬盘的扇区大小 和总容量的比率相对比就可以发现，扇区分辨率已变得非常低。扇区分辨率（扇区大小和总存储大小的百分比）已经非常低，几乎可以忽略不计。 总容量度量的扇区分辨率 ? 管理小型离散数据时，分辨率越低越好。但是，现代计算系统中的常用应用管理的都是大型数据块，实际上远比传统 512 字节扇区大小要大得多。 ? 另外，随着区域密度的增加，小型 512 字节扇区在硬盘表面上

5、占用的空间也将越来越小。从纠错和介质缺陷风险方面看，更小的空间也会引发问题。如图 2 所示，硬盘扇区中的数据占据的空间越小， 错误纠正就会变得越困难，因为同样大小的介质缺陷对总体数据负载损害的百分比更高，因此需要更大的纠错强度。 介质缺陷和区域密度 ? 512 字节扇区一般可纠正高达 50 字节长度的缺陷。现在，硬盘开始通过先进的区域密度来提高错误纠正的上限。因此，为了改善错误纠正和实现格式化效率，迁移到较大扇区是硬盘行业内的基本要求。 ? 数年来，存储行业一直在通力协作，致力于向较大扇区硬盘格式过渡；至少 5 年以前，希捷以及硬盘行业内的同行就已开始努力，并获得了卓越的成果（见图 3）。 2

6、009 年 12 月，经过与 IDEMA 的通力合作，将高级格式化提名作为 4K 字节扇区标准的名称，并获得批准。此外，所有硬盘制造商还承诺，自 2011 年 1 月开始，所发行的台式机和笔记本电脑产 品的新型硬盘平台都采用高级格式化扇区格式。在此之前，高级格式化硬盘将开始逐步进入市场。从 2009 年 12 月起，西部数据就开始推出了高级格式化硬盘；有段时间，希捷也为 OEM 客户和品牌零售产品中提供过大扇区硬盘，其中值得关注的是 USB 连接外置硬盘，如 Seagate FreeAgent 系列。 高级格式化标准 发展的重要里程碑 采用 4K 扇区的长期利益 所有硬盘制 造商一致同意，到

7、2011 年 1 月，实现向高级格式化扇区设计的过渡，因此，硬盘行业需要适应并采用此更改，以最小化潜在负面副作用。短期内，最终用户不会 明显感受到硬盘容量的增长。但是，迁移到 4K 大小扇区后，肯定能为实现更高的区域密度、硬盘容量和更强大的纠错功能提供一条捷径。 传统的 512 字节扇区布局 ? 上图显示了传统的 512 字节扇区布局。其中，在每个 512 字节扇区中，都留有 50 字节与数据无关的开销用于 EEC，以及另外 15 字节的开销 用于间隙（ Gap）、同步（ Sync）和地址标记 (Address Mark)部分。这样就造成扇区化 1 格式化效率仅约为 88%（ 512/（ 51

8、2 + 65）。 新的高级格式化标准 ? 新的高级格式化标准使得 4K 字节扇区有了不小进步，在 4K 字节扇区中， 8 个传统 512字节扇区合并为一个 4K 字节扇区（见上图）。 ? 高级格式化标准用于间隙（ Gap）、同步（ Sync）和地址标记 (Address Mark) 的字节数与传统扇区相同，但将 EEC 字段增加至 100 字节。这样，扇区化 1 格式化 效率达到了 97%（ 4096/(4096 + 115），比传统扇区提高了将近 10%。这些格式化效率将逐渐发挥作用，有助于产生更高的容量和改善数据完整性。 可靠性和错误纠正 ? 硬盘扇区的物理大小在不断缩减，所占空间也越来越

9、少，但介质缺陷却没有同时减少。下图中显示了我们认为很小的物体的图像。但与硬盘读 /写磁头的飞行高度相对而言，这些物体显得非常庞大。比图中显示物体更小的微小颗粒也会造成硬盘的介质缺陷。 磁头飞行高度的小比例对比演示 ? 高级格式化标准中的较大 4K 扇区可将 EEC 块大小增加一倍 2，从 50 字节增加到100 字节，能够针对颗粒和介质缺陷为错误纠正效率和稳健性带来必要的改进。 ? 从改进的格式化效率和更加强大的纠错功能的综合优势来看，向 4K 扇区的过渡很值得。如何管理这种过渡，以最小的副作用获取长期利益，是硬盘行业的重点所在。 了解过渡到 4K 的影响 ? 前面提到，在现代计算系统中，很多

10、方面仍然假设扇区都是 512 字节。要将整个行业过渡到新的 4K 标准，同时希望所有原来的假设一下子适应这种改变是不现实 的。随着原生4K 扇区的实施，主机和硬盘会逐渐 以 4K 块来交换数据。那时，硬盘制造商将通过称为“ 512 字节扇区模拟”的技术实现到 4K 扇区的过渡。 模拟硬盘读写全过程 512 字节扇区模拟 ? 4K 大小扇区的引入将主要依赖于 512 字节扇区模拟。这个术语是指，将高级格式化中所用 4K 物理扇区转换为主机计算系统预期使用的传统 512 字节扇区的过程。 ? 由于 512 字节模拟不会强制在传统计算系统中进行复杂的改变，因而是可行的。但是这种模拟会对硬盘性能带来潜

11、在的负面影响，特别是写入的数据与 8 个转换的传统扇区不对应时。考虑到 512 字节模拟所需的读写过程，这种影响很明显。 模拟读写过程 ? 以 512 模拟方式来读取 4K 扇区格式化硬盘中数据的过程非常直接，如下图所示。 模拟读写过程 ? 可以在硬盘 DRAM 内存中读取 4K 数据块以及格式化主机所需的特定 512 字节虚拟扇区，因此这个过程不会明显影响到性能。 模拟读写过程 ? 写过程更为复杂一些，特别是主机尝试写入的数据为 4K 物理扇区的子集时。这时，硬盘必须首先读取包含主机写入请求目标位置的整个 4K 扇区，合并现有数据与新数据，然后重新写入整个 4K 扇区。 ? 在此情况下，硬盘

12、必须执行额外的机械步骤：读取 4K 扇区数据、修改其内容，然后重新写入数据。此过程称为“读取 -修改 -写入”（ read-modify- write）循环，但这个过程不够理想，因为它会对硬盘性能造成负面影响。将“读取 -修改 -写入”情况的几率和频率降到最低是顺利无忧过渡到 4K 扇区的最 重要因素。 “读取 -修改 -写入”预防 ? 如前所述，在数据块小于或未对齐到 4k 扇区时，硬盘会为此数据块发出写入命令，此时会发生“读取 -修改 -写入”的情况。这种小于 4K 的写入请求称为超短帧。 512 字节模拟中出现超短帧的根本原因有两个。 1.由于逻辑分区和物理分区未对齐，导致写入请求不对齐

13、。 2.写入请求的数据小于 4K 对齐硬盘分区和未对齐硬盘分区差别 对齐硬盘分区和未对齐硬盘分区 ? 到目前为止，我们尚未讨论主机系统和硬盘如何针对介质上的扇区位置进行通信。我们现在就来介绍一下逻辑块地址（ Logical Block Address， LBA）。每个 512 字节扇区都分配了唯一的 LBA，根据硬盘大小，数字可以是从 0 到所需的数 字。主机会使用分配的 LBA 来请求 特定的数据块。主机请求写入数据时，会在写入结束时会返回一个 LBA 地址，告知主机数据的位置。这对于 4K 扇区的过渡非常重要，因为主机 LBA起点位置可以有八种可能性。 ? 当 LBA 0 与 4K 物理扇

14、区中的第一个 512 字节虚拟块对齐时， 512 字节模拟的逻辑块到物理块对齐情况称为 Alignment 0。另一种可能出现的对齐情况是， LBA 0 与 4K 物理扇区中第二个 512 字节虚拟块对齐。这种情况称为 Alignment 1，下图比较了 Alignment 1 Alignment 0 两种对齐情况。另外，还有六种可 能出现的分区不对齐情况，会引起与 Alignment 1 情况相似的“读取 -修改 -写入”事件。 ? ?Alignment 0 情况与高级格式化标准中新的 4K 扇区完全符合。因为硬盘能够轻松将 8个相邻的 512 字节扇区映射到一个 4K 扇区。实现此映射的方

15、法是，将 512 字节的写 入请求储存在硬盘的缓存中，等接收到 8 个连续的 512 字节数据块时再将其写入到 4K 扇区（ 8 个连续的 512 字节块刚好构成一个 4K 扇区）。由于现代计算应 用要处理大量的数据，这些数据一般都超过 4K，因此很少发生“超短帧”的情况。但是， Alignment 1 却是完全不同的状况。 ? 当创建的硬盘分区出现不对齐（如图 9 所示）的情况时，会引起“读取 -修改 -写入”循环，影响硬盘性能。这是在实现高级格式化硬盘的过程中应主要避免的情况，我们稍后对此进行讨论。 小型写入 ? 现代计算应用中的数据一般都大大超过 512 字节，如文档、图片和视频流等。因

16、此，硬盘会将这些写入请求存储在缓存中，直到这些连续的 512 字节数据块能够 组成一个 4K 扇区。只要硬盘分区是对齐的，就可以轻松地将 512 字节扇区映射到 4K 扇区，而不会对性能产生任何影响 。但是，某些低级别的处理会强制硬盘处 理“超短帧”状况（这种状况与未对齐分区无关）。这种情况很少见，仅当主机发出小于 4K 的离散写入请求时发生。低级别的处理通常都是处理文件系统、日志的操作系统级别的活动，或是类似的低级别活动。通常来说，这些活动发生的几率很小，因此不会明显影响到总体性能。但仍然建议系统设计人员考虑对这些过程进行适当修改，以便在实现 4K 过渡后能最大化硬盘性能。 你的系统版本是否

17、可识别 4K 准备和管理 4K 过渡 ? 我们已经了解了迁移到 4K 扇区的优势以及对性能的潜在影响，接下来 就该查看行业如何有效地管理过渡。在 Windows 和 Linux 是现代计算中部署的两种最受欢迎的操作系统，在这两种环境下我们能更好地讨论这个主题。 ? 管理到 4K 扇区的过渡中最重要的一个方面与上文讨论的对齐问题有很大关系。高级格式化硬盘在 Alignment 0 情况下运行完好，这时物理块和逻辑块的起始位置相同。创建硬盘分区时便已实现了对齐。分区创建软件分为两大类： 1.各 Windows 操作系统版本 2.硬盘分区实用程序 ? 使用 Windows 操作系统创建分区时，有三种

18、 Windows 版本值得一提： Windows XP、 Windows Vista 和 Windows 7。 Microsoft 早已投身到致力于规划过渡到更大扇区的社区中。因此，从 Windows Vista Service Pack 1 起， Microsoft 开始发布可兼容 4K 扇区的软件。可创建 Alignment 0 状态（符合高级格式化标准）的分区的软件称为“可识别 4K”的软件。下表说明了与当前各 Microsoft Windows 操作系统版本的相关情况。 操作系统版本是否可识别 4K？ ? 很清楚，配 有 Windows 最新版本的新计算机系统相对更适合使用高级格式化硬

19、盘。但是，对于仍然使用 Windows XP 或 Service Pack 1 之前的 Windows Vista 的系统来说，操作系统所创建的分区性能很可能显著下降。 ? 除 Windows 操作系统较早版本所创建的分区可能出现潜在不对齐情况外，在系统构建商、 OEM、增值经销商和 IT 管理员广泛使用的软件实用程序中，有很多软件实用程序也能够引发分区不对齐情况。事实上，通过这些实用程序创建的分区比通过 Windows 操作系统本省创建的分区还要 普遍。因此，创建不对齐分区，从而导致使用 4K 扇区时环境中硬盘性能下降的风险非常明显。更麻烦的是，如今系统中的硬盘一般都 包含多个硬盘分区。这意

20、味着必须使用可识别 4K 的分区软件创建硬盘上的每个分区，才能确保适当对齐，并保障性能。图 10 显示了使用不能识别 4K 的软件创建多硬盘分区时可能出现的结果。 多种分区和对齐情况 如何处理不对齐状态 处理不对齐状态 ? 有三种可行方法可避免和 /或管理不对齐状态（不对齐状态对硬盘性能具有潜在影响）。 1.使用最新版本的 Windows 操作系统或联系 分区实用程序供应商来获取可识别 4K 版本的软件。 2.使用硬盘实用程序来重新对齐磁盘分区。 3.不管是什么对齐状态，将硬盘性能管理交与您的硬盘供应商负责。 ? 使用可识别 4K 的 Windows 版本来创建硬盘分区，这是避免不对齐状态的一

21、种简单直接的方法。硬盘分区创建软件实用程序供应商应该能够告诉您是否提供了可识别 4k 版本的软件。如果是，那么迁移到可识别 4K 的版本可免后顾之忧。 ? 为解决这个问题，有些硬盘供应商提供了能够检测现有硬盘分区，并根据需要重新进行对齐的实用程序。这种变通方 法要花费更多时间，并且系统的构建或升级流程步骤也更加繁琐。 ? 最后，硬盘构建商要开发更加复杂的方法，来管理不对齐状态，同时还要避免对性能造成负面影响。 ? 由于向高级格式化硬盘的过渡势在必行，所有这些方法都将在最大化行业利益、同时避免潜在性能影响方面起到重要作用。 在 Linux 环境中管理 4K 扇区 ? 在 Windows 环境中管

22、理到 4K 扇区过渡的关键策略同样适用于 Linux。多数 Linux 系统用户都能够访问源代码，根据他们的特定需要来定制操作系统。因此， Linux 用户 能够主动更新其系统，以便恰当地管理高级格式化硬盘。 ? 通常，需要恰当地创建能与高级格式化硬盘良好对齐的磁盘分区，还需要最小化可生成超短帧的小型系统级写入（与对齐问题无关），但是修改 Linux 系统后，就可以大幅度避免这些工作。 ? 为了支持高级格式化硬盘，对 Linux 内核和实用程序均进行了更改。这些更改可确保高级格式化硬盘上的所有分区都能在 4K 扇区分界上得到完全对齐。版本 2.6.31 或更高版本的内核支持高级格式化硬盘。以下

23、 Linux 实用程序支持高级格式化硬盘的分区 和格式化： Fdisk： GNU Fdisk 命令行实用程序可对硬盘进行分区。 版本 1.2.3 和更高版本支持高级格式化硬盘。 Parted： GNU Parted 图形实用程序可对硬盘进行分区。 版本 2.1 和更高版本支持高级格式化硬盘。 结论： 4K 扇区成未来行业标准 传统 512 字节扇区进行行业过渡势在必行。硬盘制造商一致同意，在 2011 年 1 月前，笔记本电脑和台式机细分市场发行的新型产品均采用高级格式化标准。 ? 这种过渡为硬盘工程师提供了另一种工具，能够继续推动改善区域密度和增强纠错 功能。采用新技术后，硬盘产品将继续提供

24、更高的容量、更低的每 GB 成本和一如既往的可靠性级别，消费者定会从中获益。 ? 具备充分相关知识的存储社区是实现顺利过渡的关键，可以消除潜在的性能隐患。我们需要推广使用可识别 4K 的硬盘分区工具，这是顺利过渡到高级格式化所使用的 4K 扇区的至关重要的因素。作为构建或配置计算机的系统构建商、 OEM、集成商、 IT 专家甚至终端用户，都应该确保： ? 使用 Windows Vista（ Service Pack 1 或更高版本）或 Windows 7 创建 硬盘分区。 ? 使用第三方软件或实用程序创建硬盘分区时，需确定已将其更新为可识别 4K 的软件或实用程序。如果使用的是 Linux，请确定 Linux 能够识别 4K。