1、开发 U 盘的几点体会如果你开发过 USB 相关项目,理解 USB 的一些基本概念,例如设备描述符、配置描述符、子类规范等,那么开发 U 盘只要概念清晰应该不难。以下是我开发过程中的几个相关步骤: 保证 USB 芯片正常工作,用其他 USB 成功项目验证硬件连接及固件的正确性 按 Mass Storage 协议 BulkOnly 模式提供描述符,使 PC 机控制面板上设备类型出现Mass Storage Device 响应 SCSI 指令集中 Inquiry 命令,可以出现盘符 实现 FAT16 文件系统 处理 SCSI 命令集中 READ 命令及其他 UFI 命令,可以访问盘符 处理 SCS
2、I 命令集中 WRITE 命令 U 盘开发成功开发 U 盘有三个工具软件应该必备:USBVIEW 察看设备描述符,端点测试等;BUSHOUND 截取 USB 总线 数据,可分析 UFI 命令及 U 盘返回的数据流;串口助手可实时了解 U 盘所收命令流及程序流程由于每个人知识面不同,我想实现上面的几个步骤遇到的问题也不一样。对我最大的困惑是实现 FAT16 文件系统,直到在微软网站找到它的白皮书才算解惑。这里简介一下方便大家有的放矢。USB 组织定义了海量存储设备类(Mass Storage Class)的规范,这个类规范包括四个独立的子类规范,即:1. USB Mass Storage Cla
3、ss Control/Bulk/Interrupt (CBI) Transport 2. USBMass Storage Class Bulk-Only Transport 3. USB Mass Storage Class ATA Command Block 4. USB Mass Storage Class UFI Command Specification。前两个子规范定义了数据/命令/ 状态在 USB 上的传输方法。Bulk-Only 传输规范仅仅使用 Bulk 端点传送数据 /命令/ 状态,CBI 传输规范则使用 Control/Bulk/Interrupt 三种类型的端点进行数据/
4、命令 /状态传送。后两个子规范则定义了存储介质的操作命令。 ATA 命令规范用于硬盘,UFI 命令规范是针对 USB 移动存储。Windows95 OSR2 和 Windows 98 开始支持 FAT32 文件系统,它是对早期DOS 的 FAT16 文件系统的增强,由于文件系统的核心- 文件分配表 FAT 由 16 位扩充为32 位,所以称为 FAT32 文件系统。在一逻辑盘(硬盘的一分区)超过 512 兆字节时使用这种格式,会更高效地存储数据,减少硬盘空间的浪费,一般还会使程序运行加快,使用的计算机系统资源更少,因此是使用大容量硬盘存储文件的极有效的系统。本人对Windows 98 下的 F
5、AT32 文件系统做了分析实验,总体上与 FAT16 文件系统变化不大,现将有关变化部分简介如下:(一)FAT32 文件系统将逻辑盘的空间划分为三部分,依次是引导区(BOOT 区)、文件分配表区(FAT 区)、数据区(DATA 区)。引导区和文件分配表区又合称为系统区。(二)引导区从第一扇区开始,使用了三个扇区,保存了该逻辑盘每扇区字节数,每簇对应的扇区数等等重要参数和引导记录。之后还留有若干保留扇区。而 FAT16 文件系统的引导区只占用一个扇区,没有保留扇区。(三)文件分配表区共保存了两个相同的文件分配表,因为文件所占用的存储空间(簇链)及空闲空间的管理都是通过 FAT 实现的,FAT 如
6、此重要,保存两个以便第一个损坏时,还有第二个可用。文件系统对数据区的存储空间是按簇进行划分和管理的,簇是空间分配和回收的基本单位,即,一个文件总是占用若干个整簇,文件所使用的最后一簇剩余的空间就不再使用,而是浪费掉了。从统计学上讲,平均每个文件浪费 0.5 簇的空间,簇越大,存储文件时空间浪费越多,利用率越低。因此,簇的大小决定了该盘数据区的利用率。FAT16 系统簇号用 16 位二进制数表示,从 0002H 到 FFEFH 个可用簇号(FFF0H 到 FFFFH 另有定义, 用来表示坏簇,文件结束簇等),允许每一逻辑盘的 数据区最多不超过 FFEDH(65518)个簇。FAT32 系统簇号改
7、用 32 位二进制数表示,大致从 00000002H 到 FFFFFEFFH 个可用簇号。FAT 表按顺序依次记录了该盘各簇的使用情况,是一种位示图法。每簇的使用情况用 32 位二进制填写,未被分配的簇相应位置写零;坏簇相应位置填入特定值;已分配的簇相应位置填入非零值,具体为:如果该簇是文件的最后一簇,填入的值为 FFFFFF0FH,如果该簇不是文件的最后一簇,填入的值为该文件占用的下一个簇的簇号,这样,正好将文件占用的各簇构成一个簇链,保存在 FAT 表中。0000000H 、00000001H 两簇号不使用,其对应的两个 DWORD 位置(FAT 表开头的 8 个字节)用来存放该盘介质类型
8、编号。FAT 表的大小就由该逻辑盘数据区共有多少簇所决定,取整数个扇区。(四)FAT32 系统一簇对应 8 个逻辑相邻的扇区,理论上,这种用法所能管理的逻辑盘容量上限为 16TB(16384GB),容量大于 16TB 时,可以用一簇对应 16 个扇区,依此类推。FAT16 系统在逻辑盘容量介于 128MB 到 256MB 时,一簇对应 8 个扇区,容量介于256MB 到 512MB 时,一簇对应 16 个扇区,容量介于 512MB 到 1GB 时,一簇对应 32 个扇区,容量介于 1GB 到 2GB 时,一簇对应 32 个扇区,超出 2GB 的部分无法使用。显然,对于容量大于 512MB 的逻
9、辑盘,采用 FAT32 的簇比采用 FAT16 的簇小很多,大大减少了空间的浪费。但是,对于容量小于 512MB 的盘,采用 FAT32 虽然一簇 8 个扇区,比使用 FAT16一簇 16 个扇区,簇有所减小,但 FAT32 的 FAT 表较大,占用空间较多,总 数据区被减少,两者相抵,实际并不能增加有效存储空间,所以微软建议对小于 512M 的逻辑盘不使用FAT32。另外,对于使用 FAT16 文件系统的用户提一建议,硬盘分区时,不要将分区( 逻辑盘)容量正好设为某一区间的下限,例:将一逻辑盘容量设为 1100M(稍大于 1024M),则使用时其有效存储容量比分区为 950M 的一般还少,因
10、其簇大一倍,浪费的空间较多。还有,使用 FDISK 等对分区指定容量时,由于对 1MB 的定义不一样(标准的二进制的 1MB 为1048576B,有的系统将 1MB 理解为 1000000B,1000KB 等),及每个分区需从新磁道开始等因素,实际分配的容量可能稍大于指定的容量,亦需注意掌握。(五)根目录区(ROOT 区)不再是固定区域、固定大小,可看作是数据区的一部分。因为根目录已改为根目录文件,采用与子目录文件相同的管理方式,一般情况下从第二簇开始使用,大小视需要增加,因此根目录下的文件数目不再受最多 512 的限制。FAT16 文件系统的根目录区(ROOT 区)是固定区域、固定大小的,是
11、从 FAT 区之后紧接着的 32个扇区,最多保存 512 个目录项,作为系统区的一部分。(六)目录区中的目录项变化较多,一个目录项仍占 32 字节,可以是文件目录项、子目录项、卷标项(仅跟目录有 )、已删除目录项、长文件名目录项等。目录项中原来在DOS 下保留未用的 10 个字节都有了新的定义,全部 32 字节的定义如下:(1) 0- 7 字节 文件正名。(2) 8-10 字节 文件扩展名。(3) 11 字节 文件属性,按二进制位定义,最高两位保留未用, 0 至 5 位分别是只读位、隐藏位、系统位、卷标位、子目录位、归档位。(4) 12-13 字节 仅长文件名目录项用,用来存储其对应的短文件名
12、目录项的文件名字节校验和等。(5) 14-15 字节 24 位二进制的文件建立时间,其中的高 5 位为小时,次 6 位为分钟。(6) 16-17 字节 16 位二进制的文件建立日期,其中的高 7 位为相对于 1980 年的年份值,次 4 位为月份,后 5 位为月内日期。(7) 18-19 字节 16 位二进制的文件最新访问日期,定义同(6)。(8) 20-21 字节 起始簇号的高 16 位。(9) 22-23 字节 16 位二进制的文件最新修改时间,其中的高 5 位为小时,次 6 位为分钟,后 5 位的二倍为秒数。(10)24-25 字节 16 位二进制的文件最新修改日期,定义同(6)。(11
13、)26-27 字节 起始簇号的低 16 位。(12)28-31 字节 32 位的文件字节长度。其中第(4)至(8)项为以后陆续定义的。 对于子目录项,其 (12)为零;已删除目录项的首字节值为 E5H。在可以使用长文件名的 FAT32 系统中,文件目录项保存该文件的短文件名,长文件名用若干个长文件名目录项保存,长文件名目录项倒序排在文件短目录项前面,全部是采用双字节内码保存的,每一项最多保存十三个字符内码,首字节指明是长文件名的第几项,11 字节一般为 0FH,12 字节指明类型,13 字节为校验和,26-27 字节为零。(七)以前版本的 Windows 和 DOS 与 FAT32 不兼容,不
14、能识别 FAT32 分区,有些程序也依赖于 FAT16 文件系统,不能和 FAT32 驱动器一道工作。将硬盘转换为 FAT32,就不能再用双引导运行以前版本的 Windows(Windows 95 Version 4.00.950、Windows NT 3.x、Windows NT 4.0 和 Windows 3.x)。磁盘结构综述 1.硬盘结构硬盘的内部是由圆形金属片堆叠起来的,每个盘片的两面都有一个磁头(Head)负责读写这个磁面(Side),在每个磁面上划分了一圈一圈的同心圆,叫做柱面(Cylinder)对于软盘通常称之为磁道,在每个柱面中又划分了若干段,称之为扇区(Sector)。由于
15、技术的发展,硬盘的密度越来越大,使得硬盘的实际盘片数越来越少,对磁盘操作的柱面、磁头、扇区被硬盘控制器内部转换,已经不是实际的柱面、磁头、扇区了。由于最早时磁盘存取系统估计不足,传输数据时只给扇区留了 6 位,柱面留了 10位,磁头留了 8 位。也就是说,柱面最大只能为 1023。但是大硬盘的柱面远大于这个数,所以后来就采用将柱面数减少,将磁头数增加的方式来满足磁盘寻址的要求,对于实际地址的转换在 BIOS 中进行,这叫逻辑块寻址方式(Logical Block Addressing,LBA)硬盘中有关柱面、磁头、扇区的数据都是以此为基准的。2.分区结构众多的文件数据存放在磁盘上,需要有组织,
16、这就形成了文件系统。但是各个操作系统的文件系统都不尽相同,为了划分管理文件系统,在现在的 PC 机上都采用通用的分区结构。分区机构是这样的:硬盘的以一个扇区(就是 0 柱面 0 磁头 1 扇区)叫主引导扇区(Main Boot Record,MBR),存放着引导程序和主分区表 (Main Partition Table)和结束标志“55AA”。一般称的分区表即是主分区表。一个分区表最多可包含四个分区表项,每个分区表项中标示着一个分区信息或一个扩展分区表的位置,而扩展分区表中可能还有扩展分区表,这就形成了一个链状结构,可以记录很多个分区。 C 语言定义如下typedef structchar b
17、ootcode0x1be; /启动代码PartitionTable PT4; /分区表word EndingFlag; /结束标识MBR;分区表项的如下:typedef structbyte BootFlag; /启动标志CHS StartCHS; /分区开始的柱面、磁头、扇区byte SystemID; /分区类型CHS EndCHS; /分区结束的柱面、磁头、扇区dword RelativeSectors; /分区相对扇区数,指分区相对于记录该分区的分区表的扇区位置之差dword TotalSectors;/分区总扇区数PartitionTable;其中 CHS 为一个柱面、磁头、扇区的结
18、构,定义如下:struct CHSbyte Head; /磁头byte Sector:6; /扇区byte CyH2:2; /柱面的高两位byte CyL8; /柱面的低八位word Cylinder() return (word(CyH2)*256+CyL8); /返回柱面值void SetCylinder(word Cylinder) /设置柱面值CyH2=(Cylinder8)CyL8=(Cylinder;其中分区类型是对应于各种文件系统统一编排的一个代码。比如 06H 是大于 32M 的FAT16 分区的标志 ,05H 是扩展分区的标志,等等。一般的,对于DOS/Windows3.x/
19、Windows95/98 的系统来说,第一个分区表项记录着 DOS 主分区(C 盘)的信息,而且是可以启动的,第二个分区表项一般是扩展分区,在这个扩展分区表项所指向的分区表中又是一个 Dos 主分区(D 盘)和一个扩展分区,依次类推。而在绝大部分系统中 Dos 主分区 (C 盘)是从 0 柱面 1 磁头 1 扇区开始的。( 有些机器在这个位置有个小分区,专门用来管理启动或机器设置,之后才是 C 盘的分区)3.FAT 文件系统FAT 文件系统(FAT12/FAT16/FAT32)是从 DOS 发展过来的一种文件系统,其优点是简单易用,并被多种操作系统支持。(目前支持 FAT32 的操作系统还不多
20、 )FAT 文件系统名称后的数字是标识文件中系统一个分配单元所需的位(bit)数。一个 FAT12/16 文件系统的结构是这样的:引导扇区 第一文件分配表 第二文件分配表 根目录 数据区(1).引导扇区引导扇区是文件系统的第一个扇区,其中包含分区重要的数据信息 BPB(BIOS Paramenter Block-磁盘参数表)。磁盘参数表中包含分区总大小、磁盘参数等重要信息。其 C 语言定义为:typedef structword SectorBytes; /每扇区字节数byte SectorsPerCluster; /每簇扇区数word ReservedSectors; /保留扇区数byte
21、NbrFat; /FAT 的个数word RootEntry; /根目录项数word TotalSectors; /分区总扇区数( 分区小于 32M 时)byte Media; /分区介质标识word SectorsPerFAT; /每个 FAT 占的扇区数word SectorsPerTrack; /每道扇区数word Heads; /磁头数dword HiddenSectors; /隐含扇区数dword BigTotalSectors; /分区总扇区数(分区大于 32M 时)BPB_FAT16;其中保留扇区数为从分区开始到第一个 FAT 表开始中间的扇区数。隐含扇区数同分区表中的隐含扇区数
22、含义相同。虽然存在 FAT 个数的定义,但现在的 FAT12/16 系统基本上没有除 2 以外的值。因而一般不考虑其他情况。根目录项数是指根目录总共能容纳下的目录的项数。一个目录项占 32 个字节,所以一个扇区有 512/32=16 个目录项。用这个值除以 16 就是根目录所占的扇区数。分区总扇区数在分区大于 32M 时已经超过 65535,两个字节已经无法表示,因此在大于 32M 的分区中 TotalSector 总是等于零,而将实际的数放在 BigTotalSectors 中。分区介质标识是确定 BPB 有效的标志。它必须与 FAT 表中第一个字节的分区介质标识统一。硬盘的分区介质标识为
23、0F8h,如果这个标识不对或者与 FAT不统一则将会出“Invalid media type”的错误。SectorsPerFAT 是每个 FAT 所占的扇区数。系统根据分区起始地址 +保留扇区数+每个 FAT 所占扇区数*FAT 个数+根目录项数/16 来确定数据 区开始的位置,然后由这个位置+簇号* 每簇扇区数来最终确定数据在硬盘扇的具体位置。(2)文件分配表文件分配表是文件在磁盘上分布的信息。FAT 文件系统将数据区按每簇扇区数为单位划分成一个一个单元,每个单元是文件分配的最小单位。这个单元就称为簇。一些大的文件可能占用了很多簇,而且在磁盘上没有连续存放。FAT 表就是为了确定文件每个簇的
24、连接关系而设的。FAT 表的每一项都对应着数据区的一个簇,FAT16 的 FAT 表每一项占 16位,也就是两个字节。每一项的内容表示其对应簇的分配情况,0 表示尚未分配;FFF0hFFF6h 为备用;FFF7h 表示坏簇,即该簇中磁盘有损坏; FFF8hFFFF 表示文件结束;其他值则表示当前簇的下一簇的簇号。FAT 表的最前面两项是不用的,因此第一个数据簇的簇号为 2。FAT 表第一个字节也是分区介质类型,和 BPB 中的一样。因此用“F8 FF FF”可以作为硬盘 FAT 起始的标志。绝大多数 FAT 系统有两个 FAT 表,第二个 FAT表又称为后备文件分配表。系统内部完成后备文件分配
25、表与第一文件分配表的统一。本文讨论的完全恢复是基于后备文件分配表没有被破坏的情况下的恢复,如果两个文件分配表都被损坏,理论上就无法完全确定文件信息,因此无法完全恢复。(3)根目录FAT12/16 的根目录是单独列出来的,在后备文件分配表和数据区之间。每个目录项为 32 个字节,记录一个文件或目录的信息。(长文件名例外) 文件修复的原理就是由目录项中指示的起始簇号和数据区开始位置来确定文件的位置,从而恢复小的文件。4.FAT32 文件系统FAT32 文件系统与 FAT12/16 的差别较大,一个主要的差别就是将根目录划归到数据区中了,在 BPB 中专门加了一项根目录开始簇号。这样根目录的大小就不
26、再受到限制,大大增加了根目录的自由度。FAT32 的 BPB 定义如下:typedef structword BytesPerSector; /每扇区字节数byte SectorsPerCluster; /每簇扇区数word ReservedSectors; /保留扇区数byte NumberOfFATs; /FAT 的个数word RootEntries; /根目录项数(FAT32 不用)word TotalSectors; /分区总扇区数(FAT32 不用)byte MediaDescriptor; /分区介质标识word SectorsPerFAT; /每个 FAT 占的扇区数(FAT3
27、2 不用)word SectorsPerTrack; /每道扇区数word Heads; /磁头数dword HiddenSectors; /隐含扇区数dword BigTotalSectors; /分区总扇区数dword BigSectorsPerFat; /每个 FAT 占的扇区数word ExtFlags; /扩展标志word FS_Version; /文件系统版本dword RootDirStartClus; /根目录起始簇号word FSInfoSec; /指向包含 BIGFATBOOTFSINFO 结构的扇区word BkUpBootSec; /后备引导区的位置byte Reser
28、ved12; /备用BPB_FAT32;从上可以看出,FAT32 的 BPB 是在 FAT16BPB 的基础上加入了一些参数,并停用了一些参数。每个 FAT 所占扇区数变为 4 个字节,根目录项数不再使用。 FAT32 与FAT12/16 的另一不同点在于,FAT32 既可以同时使用多个 FAT 表,也可以只使用其中的某一个 FAT 表。ExtFlags 正是这个标志。当 ExtFlags 的第 8 位为 0 时表示同时使用每个FAT 表,当其为 1 时表示只使用其中的一个 FAT 表,这个 FAT 表的序号由 ExtFlags 的低4 位给出。FS_Version 文件系统版本现在都为 0。
29、FAT32 将根目录也视作一个目录文件,使用一个簇链(Cluster Chain),RootDirStartClus 正是这个链的起始簇号。FAT32 有个专门放 BIGFATBOOTFSINFO 结构的扇区,该结构包含了剩余簇个数,下一个空闲簇号等信息。这个扇区通常紧接着引导扇区。由于与恢复关系不大,本文不做讨论。FAT32 将引导扇区和文件系统信息扇区信息存了两份,另一份的位置由 BkUpBootSec 指出。这样由于偶然发生的损坏就很容易恢复。5.扩展 BIOS 参数块 在 BPB 的后面是 Extended BIOS Paramenter Block。EBPB 的结构如下:typede
30、f struct /Extended BIOS Paramenter Blockbyte PhysicalDriveNumber; /物理硬盘号byte CurrentHead; /当前磁头byte ExtBootRecSign; /扩展引导记录标志dword SerialNumber; /序列号char VolumeLabel11; /卷标char FSID8; /文件系统标识EBPB;其中物理硬盘号和当前磁头是系统运行时使用的,硬盘上的值没有什么实际意义。ExtBootRecSign 一般为 28h 或 29h。SerialNumber 是格式化后生成的序列号。文件系统标识指示了文件系统的类型,即“FAT12” 、 “FAT16”、 “FAT32”Mass Storage 协议 BulkOnly 传输协议可参考 USBMASSBULK.PDF 文档SCSI 指令集可参考 USBMASSUFI.PDF 文档FAT16 文件系统可参考 FAT_PAPER.PDF 文档