武汉理工大学计算机科学系陈天煌 第4章 词法分析 本章将讨论词法分析程序的设计原则 ，单词的描述技术，识别机制及词法分 析程序的自动构造原理。 4.1对于词法分析程序的要求 4.2正规表达式与正规集（正规语言） 4.3有穷自动机 4.5正规文法与有穷自动机的等价性 4.4正规式与有穷自动机的等价性 4.6词法分析程序的自动构造武汉理工大学计算机科学系陈天煌 本章重点 单词的描述工具 单词的识别系统 设计和实现词法分析程序 首先需要描述和刻画程序设计语言中的 原子单位单词，其次需要识别单词 和执行某些相关的动作。 描述程序设计语言的词法的机制是正则 表达式，识别机制是有穷状态自动机。武汉理工大学计算机科学系陈天煌 词法分析程序 实现词法分析（lexical analysis）的程 序称为词法分析程序（或扫描器）。 对构成源程序的字符串从左到右的扫描， 逐个字符地读入源程序字符并按照构词规则 切分成一个一个具有独立意义的单词。并确 定其属性（如保留字、标识符、运算符、界 限符和常量等）。再把它们转换成长度统一 的标准形式属性字（TOKEN）。 词法分析程序的主要任务：武汉理工大学计算机科学
