自然语言处理NPL-最大概率分词算法(共21页).doc

精选优质文档-倾情为你奉上NLP基于最大概率的汉语切分Ytinrete要求：基于最大概率的汉语切分目标：采用最大概率法进行汉语切分。 其中：n-gram用bigram，平滑方法至少用Laplace平滑。输入：接收一个文本，文本名称为：corpus_for_test.txt输出：切分结果文本，其中：切分表示：用一个字节的空格“ ”分隔，如：我们 在 学习 。 每个标点符号都单算一个切分单元。输出文件名为：学号.txtBigram参数训练语料：corpus_for_train.txt注：请严格按此格式输出，以便得到正确评测结果切分性能评价：分切分结果评测F*100, F=2P*R/(P+R)特别注意:代码雷同问题本次作业最后得分会综合考虑：切分性能、代码、文档等几个方面。第三次作业上交的截止时间：2014 年1月7日24:00 1.关于最大概率分词基本思想是：一个待切分的汉字串可能包含多种分词结果，将其中概率最大的作