1、 词法分析程序的设计与实现方法 1:采用 C 作为实现语言,手工编制一文法及状态转换图1语言说明:C 语言有以下记号及单词:(1)标识符:以字母开头的、后跟字母或数字组成的符号串。(2)关键字:标识符集合的子集,该语言定义的关键字有 32 个,即auto,break,case,char,const,continue,default,do,double,else,enum,extern,float,for,goto,if,int,long,register,return,short,signed,static, sizeof,struct,switch,typedef ,union,unsign
2、ed ,void, volatile 和 while。(3)无符号数:即常数。(4)关系运算符: ,=,!=。(5)逻辑运算符: |”|?|/|,|. /*打开对应的代码文件,二元式文件,标识符文件,常数文件*/int id_count = 0; /*记录标识符个数*/int num_count = 0; /*记录数字个数*/ int reserve_count = 0; /*记录保留字个数*/ char tokenMAX,ch; /*token 数组用来存放读入的单词符号,ch存放当前读入字符*/ int Line_No=1; /*记录行号*/ int n_word = 0; int c;
3、/*对应保留字的编码 */int over = 0; /*文件读取完毕标志*/void getbe(); /*删除空白行*/void concatenation(); /*将当前读入的字符送入 word 数组中*/int digit(); /*判断是否为数字*/int letter(); /*判断是否为字母 */void retract(); /*向前扫描指针后退一个字符*/int reserve(); /*判断一个单词是否为保留字*/void buildlist(); /*建立一个存放标识符的符号表*/void build_num_list(); /*建立一个存放数字的符号表*/ void
4、error(); /*处理错误*/4错误及注释处理在本词法分析程序中,如果遇到错误,可以报告错误所在行列的位置,保存在 c_word.txt 文件中,并将跳过该错误继续分析处理后面的程序。若遇到注释,则根据注释的生成规则,识别并跳过继续分析。5词法分析程序的实现源代码见 Lexical Analyzer.c四程序测试结果1测试用例 1,对名为 right.txt 的正确文件进行词法分析,并显示其分析结果。相关输入输出结果文件见测试用例 1(正确程序)文件夹。2测试用例 2,对名为 wrong.txt 的文件进行词法分析,并显示其分析结果。相关输入输出结果文件见测试用例 1(错误程序)文件夹。方
5、法 2:编写 LEX 源程序,利用 LEX 软件自动生成词法分析程序。基于 Parser Genarator 的词法分析器构造方法1Lex 输入文件由 3 个部分组成:定义集(definition) ,规则集(rule)和辅助程序集( auxiliary routine)或用户程序集(user routine) 。这三个部分由位于新一行第一列的双百分号分开,因此,Lex 输入文件的格式如下definitions%rules%auxiliary routines而且第一部分用“%”和“%”括起来。第一和第三个部分为 C 语言的代码和函数定义,第二个部分为一些规则。2.定义正则表达式如下ID =
6、letter letter*NUM = digit digit*Letter = a|z|A|ZDigit = 0|9Keyword = else|if|int|return|void|whileSpecial symbol = +|-|*|/|=|=|!=|=|;|,| (|)|/*|*/White space = “ ”Enter = n在 lex 中的构造letter A-Za-zdigit 0-9id (letter|_)(letter|digit|_)*error_id (digit)+(letter)+ num digit+whitespace t+enter n+3.在 Lex 中的规则定义构造定义识别保留字规则“int“|“else“|“return“|“void“|“if“|“while“ Upper(yytext,yyleng);printf(“%d 行 “,lineno);printf(“%s reserved wordn“,yytext);/保留字定义识别数字规则num printf(“%d 行 “,lineno);printf(“%s NUMn“,yytext);/数字定义识别专用符号规则